总之，卫飒任职太守期间，体恤民情，勤理政事，在桂阳十年，郡内大治。
建武二十五年(公元49年)，卫飒应召入朝，光武帝刘秀立即召见，并赐食于御座前，想任命他为少府。然而，就在卫飒面临着高升之际，横祸却不期降临了。卫飒突患重病，一病不起，最后折腾了数月好不容易有点起色后，已是骨瘦如柴、心如槁木。
为此，卫飒选择了辞官还乡。对此，爱才如命的刘秀坚决不同意，一边赐以物质加以慰劳，另一边任命他为桂阳太守，让他到这个山清水秀的地方去休养，听候召唤。两年后，卫飒回到洛阳，还是骨瘦如柴，还是心如槁木，还是恳请辞官。刘秀见他身体这般虚弱，心志这般坚定，不得已，只好收其印绶，赐其钱，使之荣归故里。最后，卫飒病逝于家中。
对此，后人评曰："卫飒，洒脱。任上竭力为民，功成急流勇退，乃治理之能吏，处世之雅士。"
