刘秀不但没有责怪严光，反而将他封为谏议大夫。不过严光死活不答应，刘秀无奈，只好放他回去，"乃耕于富春山"。
就这样，严光身穿着羊裘，头戴着草帽走进了富丽堂皇的皇宫，又无爵无位，潇洒惬意，身无长物地从皇宫里走了出来，重归了他挚爱的渔场。
直到建武十七年，刘秀又一次想起了严光，再次诏他入宫。严光又再一次拒绝。最后，80岁的严光在老家病逝，刘秀极为伤感，下旨厚葬。
对于严光至死不事光武帝的行为，后世之人推崇备至。范仲淹在浙江桐庐时，就主持修建了祠堂，用以纪念严光，并做《严先生祠堂记》："云山苍苍，江水映涣，先生之德，山高水长"。
李白对严光也顶礼膜拜，作诗赞扬他："松柏本孤直, 难为桃李颜。昭昭严子陵, 垂钓沧波间。"
至此，严子陵不事权贵的高风亮节，深入人心，世受后人敬仰。
（参考资料：《后汉书》）
