刘秀多次去严光的住所拜见，又把他请进皇宫，但严光依然不为所动，要说这个待遇，他如果出仕，免不了是宰相侯爵，但严光就是不干，刘秀最后也没有办法，打消了请他帮自己治理国家的想法。
南宋李唐《松江钓隐图》（局部）
有一次刘秀把严光请进皇宫，两人喝了好几天的酒，叙旧情之中刘秀不经意插了一句："你看我比过去怎么样？"严光答"比过去胖了点"，真的是一句关于治国的建议都不会让皇帝问出来。晚上严光就跟刘秀一起睡龙榻，刘秀也没什么意见，结果严光自在惯了，有一晚直接把腿搭在了刘秀肚子上，让当时的皇帝哭笑不得，但也没有办法，觉也要睡，只能迁就他了，于是就有了文章开头提到的记在史书里的一个看上去是件大凶之兆结果只是皇帝生涯中少有的一件趣事的事情。
因为实在留不住，刘秀最后还是放严光回了富春山去种田。严光去世的时候，刘秀悲痛万分，下令赐钱百万，谷千斛。后人将他安葬的富春山称为"严陵山"，他垂钓的地方叫"严陵濑"，垂钓时坐的石头叫"严子陵钓台"。
