到了隋朝末年，冯盎回到岭南，依靠冯家在岭南的影响力，很快就聚拢了过五万大军。不过，这时候的冯盎，还没有控制整个岭南。当时冯家控制的地盘，还仅限于苍梧、高凉、珠崖、番禺等地区。岭南当时真正的大哥，是隋末的另一个大势力林士弘。
对于林士弘，冯家又祭出了百试百灵的两样法宝，依附于林士弘。林士弘想要控制冯家所在的地区，就必须依靠冯家。而且，岭南这边和中原不同，冯家在当地的影响力，不是一次杀戮全族就能解决的。就算杀了冯家全家，当地的局势也只会变得更糟。所以，唯一的办法，就是依靠冯家，将当地变成自己的一个属地。
就这样，又过了几年，随着关中的李渊，一步步统一天下，林士弘也被李家击败，然后病死。这个时候，冯盎又带着冯家，毫不犹豫的投降了李渊。
虽然冯家这种墙头草的性子，大家都不喜欢。但是为了控制岭南，只要冯家投降，朝廷就只能给予冯家越来越高的地位。冯家每投降一次，朝廷就得给冯家更高的爵位，以显示自己对冯家比前朝更好。到了李渊这儿，直接封冯盎为耿国公。
