朱元璋斩杀胡三舍，也是为了严明军纪，是帝王的无奈。听到儿子被杀的消息，胡大海也无可奈何，君叫臣死，臣不能不死，何况是胡三舍有错在先？失去长子的胡大海，只好将传家的希望寄托在一直随同他一起征战的次子胡关住身上。没想到的是，四年后，他与胡关住竟双双战死沙场。
胡三舍被杀的第二年，朱元璋命耿再成及胡大海率兵取处州。其后，陈友谅进攻龙江，胡大海为牵制陈友谅军，亲自带兵攻克信州，设立广信府。由于深入敌后，很快信州就弹尽粮绝，有人劝说撤离。胡大海说："这是闽、楚的襟喉之地，怎么能放弃呢？"筑城浚隍固守。
胡部的军粮较少，在所占领的郡县中，将士都向百姓征粮，名为寨粮，百姓十分不满。胡大海下令免去，这让他在江南百姓中有了较好的声誉。朱元璋任命胡大海为江南行省参知政事，镇守金华。
胡大海攻下严州后，苗将蒋英、刘震、李福自动来降。三人都是骁勇善战之辈，胡大海十分喜爱，就留他们在自己的麾下。但是，蒋英、刘震、李福三人归顺不久，又谋划作乱，要除掉胡大海，好投奔他人。
