自古皇权不容侵犯，更别说当众抹杀皇帝颜面了。就在刘秀决定出征之前，伏湛上书一封，以周文王为例，意在表明圣上应该行明君之事，率军出征应该兼顾群臣意见，不能只由着自己的心性来。况且东汉自从建立以来常年处于抗击外敌中，百姓连个安稳日子都过不上，还能去哪给你筹集军用资金呢？您如今不先解决百姓的温饱问题，而是再起战事，难道您想百年之后背负昏君的骂名吗？看似一番恳切仗义之词，但在此时气急败坏的刘秀眼里，这份奏疏就是在赤裸裸的威胁他，但碍于身后名与群臣之言，他最终还是放弃了出征。
其实有时候过于优秀也不是一件好事，就在阻拦光武帝出战后不久，徐异清对伏湛的欣赏也成了压死刘秀处置伏湛的最后一根稻草。当时刘秀率领军队征战四方，满腔抱负想要一统天下，出战必捷的他却被卡在了富平一地。而此地的首领正是对伏湛心怀敬佩的徐异清，并且他扬言只给伏湛举白旗，其他人想都不要想。就在伏湛被派去平原讲和的当天，徐异清等人立即归降。看似不起眼的一件件小事，对国对民都很有利，殊不知却让刘秀心里那颗铲除伏湛的种子生根发芽。27年冬天，刘秀以渎职之罪撤掉伏湛官职，30年改封为不其侯，37年的夏天，伏湛被光武帝召见期间，因中暑离世。
