所以到了刘裕父亲这代，早早地就成了平头老百姓中一员，起早贪黑含辛茹苦的讨生活，时局动荡，老刘家早就家徒四壁，更惨的是刘裕生下来没多久母亲就死去了，刘翘一度惨到连这个儿子都养不活，甚至想着要抛弃这个可怜的婴儿，还是别人帮忙抚养，小刘裕才能活下来。
也许是这段吃百家饭，穿百家衣的经历，刘裕的小名叫寄奴，也就是寄养在别人家的小东西。奴字带爱称（例如东晋南康公主称呼恒温为老奴），同时又带着些轻贱意味（老郭相声里也提过，贱名好养活），这个小名也伴随刘裕一生，还被写入了后世文学家们的作品中。
长大的刘裕也改变不了家里穷的叮当山响的事实，为了生存刘裕也是什么罪都受过，什么苦都吃过。他打鱼、砍柴、卖草鞋（刘备表示不愧是我的后代啊！），刘裕同志还信奉"哪有小孩天天哭，哪有赌徒天天输"的金科玉律，经常性的赌博来赚取家用，不过这位老兄赌技不咋地，刘家是越来越穷，这也让乡里的人们很看不起他。
但不得不说，这段艰难的岁月磨砺了刘裕的心智和人生阅历，被别人歧视的屈辱也造就了刘裕后来的心狠手辣。
长大后的刘裕不治产业，喜好斗鸡走狗，但为人任侠，心机灵巧鬼点子多，更有着非比一般的影响力和感染力，极受乡里小伙子们的敬佩和爱戴。有人生下来就是做大事的，刘裕，正是这种人。
