而反观四大辅臣那里，四人对刘义符同样不信任。在他们看来，皇太子喜欢与小人为伍，难以托付天下。如今北魏越来越强大，让刘义符当皇帝，恐怕难以抵挡胡人的入侵。
刘裕死后，刘义符与四大辅政大臣的冲突越来越激烈，已经开始重蹈当年海昏侯刘贺与霍光的覆辙。对此，刘义符的亲信范泰心急如焚，他进言于刘义符，希望他能明智地处理与辅臣的关系。然而刘义符年轻气盛，充耳不闻。
就这样刘义符和四大辅政大臣的关系已经难以收拾。而刘义符呢？由于过于年轻，玩性未消，因此他在宫殿里开了个市场，每天和宫女太监游戏于其间。玩累了，就直接在宫殿里的龙舟中睡觉。
与此同时，擅长骑射的刘义符还在宫中训练士兵。而这一切，都让四大辅政大臣万分恐惧。公元424年，刘宋王朝吃了大败仗，洛阳为北魏所攻占。而刘义符则耽于享乐，对于军国大事根本充耳不闻。
