光武帝苦留严光无果，只好放他回乡
光武帝与严光相处甚欢，便再次请求他出来做官，并打算任命他为谏议大夫，专掌议论政事、规谏皇帝。然而严光洒脱惯了，受不了朝廷繁文缛节的束缚，更何况一旦接受任命，必然要对光武帝行三跪九叩大礼，出入都要谨言慎行，再不能像之前那般自由，所以想都没想便推辞。光武帝无奈，只好让他离京返乡。
严光返乡后，在富春山归隐，每日里耕田读书、垂钓游玩，生活过得相当惬意，后人因为感慨于他的气节、志向，便把他垂钓的地方命名为严陵濑（"除为谏议大夫，不屈，乃耕于富春山，后人名其钓处为严陵濑焉。"引文同上）。建武十七年（41年），光武帝再次征召严光入京，但这一次严光却没有答应，让皇帝怅然若失，心中充满遗憾。
今天的严陵濑
多年后，严光在家中寿终正寝，终年80岁。光武帝闻讯后，心中甚是悲痛，下令当地郡县赐钱百万、谷千斛给严家，命其厚葬严光（"建武十七年，复特征，不至。年八十，终于家。帝伤惜之，诏下郡县赐钱百万、谷千斛。"引文同上）。严光死后，葬于今浙江省慈溪市境内的客星山（又名陈山）。不久，光武帝也驾崩，在泉下去跟老友"会合"。
