按说刘家也不愁吃喝，日子应该也不错，但可惜父亲死得太早，刘秀刚九岁，老爹就没了。据《后汉书》记载："光武年九岁而孤，养于叔父良。"一个"孤"字说明可怜的孩儿在此之前娘已经没了。好在还有一个远在南阳郡蔡阳县的叔叔，名叫刘良，发了慈悲心收养了刘秀兄妹几个。生活虽说是有了着落，但是原来的祖荫是一点也享受不到了，就此成了平头小百姓。
刘秀从小就踏实，那就当个好百姓。等他慢慢长成一个小伙子，真成了一个种庄稼的好把式。为此，刘秀经常被他那位以"侠士"自居的大哥刘縯耻笑，说他种地倒是很勤快，简直就像汉高祖刘邦的二哥刘喜。
据《东观汉记》载，有一天，姐夫邓晨带着刘秀去做客。在西汉末年，谶书很是流行，王莽篡汉玩的就是谶书的把戏，其实荒诞不经，基本没什么依据可言。当时大家在聊天的过程中，有人说他看到了一则谶书，里面写的是："刘秀当为天子。"
有人就分析说，这谶书说的人一定应在国师公刘秀的身上。这个国师公刘秀是刚改的名字，他原名叫刘歆，也是个大儒，对谶纬之类的事很精通。可当时刘秀却冷不丁冒了一句："你怎么就知道不是说我呢？"原话是："安知非仆乎？"话音未落，哄堂大笑！这个庄稼汉原来这么幽默！
