但后来司马徽发现朝廷太腐败，汉桓帝虽然喜欢让大臣们提意见，但实际上只是走一个过场，甚至从来没有采纳过任何一条意见。为了巩固自己的权力，他不惜启用宦官来制衡文官、武将集团。而宦官们本身没有什么见识也没有能力，为了获取更大的利润甚至把家族内同样不学无术的人安插到朝廷中，以至于整个朝廷被宦官们弄得乌烟瘴气，老百姓负担非常重。
司马徽本想劝桓帝，但桓帝并没有给他觐见的机会，这使得司马徽心灰意冷，愤然辞官回家。原本荆州牧打算启用司马徽为別驾，但司马徽看出了他的野心，这个人只为满足自己的权力欲望而不是为老百姓做事，特意婉言谢绝。在众人的帮助下在南阳地区搭了几间茅屋，然后又招收一些少年做学生。
