及光武即位，乃变名姓，隐身不见。帝思其贤，乃令以物色访之。后齐国上言："有一男子，披羊裘钓泽中。"帝疑其光，乃备安车玄纁，遣使聘之...帝曰："子陵，我竟不能下汝邪？"于是升舆叹息而去。引文同上。
数年后，光武帝思友心切，便再次下诏将严光召入宫中，与他畅聊往事，一连多日都不肯放其返乡。某天，光武帝笑着问严光："子陵（严光的字），你觉得朕跟之前相比如何？"严光平时洒脱惯了，根本就不懂得君臣礼仪，于是便戏谑的回复到："陛下跟之前变化不太大，只是身材比当年胖了些，看来是舒服的日子过久了，哪里像我这个山野村夫，依旧骨瘦如柴。"光武帝听后大笑不止。
严光垂钓图
由于光武帝白天忙于政务，只有晚上才有时间跟严光谈天，有时候聊得兴起忘记了时间，便跟他一起大被同眠，一如当年在长安求学时的样子。严光睡觉不老实，等到熟睡后便会不自主地将脚压在光武帝的肚子上（也或许是有意而为之，目的在于试探光武帝的胸襟气度），而皇帝因为怕将严光吵醒，所以也一直不挪开。
