此时有人向朱元璋禀报说冯胜私自藏匿良马，和大量的珠宝，还在敌人王子死的第二天就强娶人家的妻女，让其部下丧失了投降之心，害的濮英损失三千骑兵。再加上常茂对冯胜的控述，一下死的朱元璋勃然大怒，收回了冯胜的将军印。从此后冯胜就再也没有执掌过大军。
关于冯胜的传奇最著名就是修筑长城嘉峪关。据说朱元璋为巩固西北一带边线，派征虏大将军冯胜到河西走廊一带驻防。冯胜四处考察，寻找关址。有一天，他们来到肃州西面约25公里的嘉峪山下，但见这里祁连山雄峙于南，马鬃山屹立于北，西接群山大漠，东连平畴绿野，依山靠水，阵势险要，感应是建关的好地方。冯胜将军率众将领骑马涉过"九眼泉"，登上嘉峪山，观了山形水势，不由自主地惊叹道："此地乃咽喉之地，建关阵势天成，妙哉！"他又细致观察了山脚，见识势平展，基石平稳，方圆约50亩地，认定这里就是建关之地。众将领也同等认为："此地峡谷似瓶，易守难攻，在此建筑关口，定然安如盘石！"于是，冯胜将军就将关址选定在这里，并立即破土开工，不到一年就构筑了周长二百二十丈的嘉峪雄关。
冯胜虽然作为明朝开国的功臣之一，由于明太祖晚年的猜忌心非常重，在冯胜死后，其家族还被明太祖下令诸子都不许继嗣。于是冯胜的子孙四处逃散，现在为人所熟知的冯胜后人大概就是冯国璋一脉了。
