另一个"大名大位"者是赛尚阿。咸丰二年初，赛尚阿等因为在镇压太平天国起义军过程中调度不力，日久无功而"交部议处"。朝中众人多力图为之宽减，只有曾国藩"以军务关系重大，议处罪名宜从重者，不当比照成例"。
但会议还是决定从宽处罚。曾国藩不服，"会议罢后，公专摺奏请从严议处。"赛尚阿因此终被革职。
本来，曾国藩在京官中人缘颇好。然而，这两次挑战"大名大位"者，却令他人际关系网出现巨大破洞。因为琦善门生故旧遍天下，与穆彰阿关系也颇深。曾国藩打破了"官官相护"的潜规则，成为官场上的异类。案子审完之后，许多人与曾国藩拉开距离，甚至不再往来。他在官场上的处境愈益孤立。"诸公贵人见之或引避，至不与同席。"在背后当然更是遭到无数诋毁之词。弹劾赛尚阿又得罪了一大批人。因此曾国藩在咸丰二年几乎成了京师人人唾骂的人物。
在北京在最后一段日子，曾国藩动辄得咎，精神十分痛苦，愈来愈想念家乡了。国事颓唐，他百计奋斗，却丝毫无补。
咸丰二年六月，曾国藩终于得到了江西乡试正考官的外差，他兴冲冲逃离这个让他失望而厌恶的京城，准备从此引退归山。不料刚走到安徽太和县，接到了母亲去世的讣闻，当即换装回乡奔丧，至此正式结束了他十四年的京宦生涯。
