被革职的樊燮回到家乡后，曾经他是高高在上的地方大员，如今成为了一介平民，自然就遭到旁人的欺负。这时樊燮就痛定思痛，他觉得自己虽然有过错，也不至于遭此下场，之所以吃亏就在于没有文化，不会为自己辩护。
樊燮认为以后不能在同一个地方跌倒两次，于是开始重点培养自己的两个儿子。在家中修建了一座读书楼，把两个儿子关在读书楼里读书，并且立志要两个儿子超过左宗棠的成就，以此一雪前耻。
樊燮为了加深对左宗棠的嫉恨，也可能是发泄心中的愤慨，他特制了一块"洗辱牌"，上写昔日左宗棠骂他的话："王八蛋，滚出去"。从这之后，樊燮花了不少钱，聘请名师教两个儿子读书。
