当时，东三省遍布"家礼教"的人，也就是前面说的"安庆道友"。张乐山的祖辈就是走着这条路的，而且，据说他的祖辈是帮会里辈分颇高、说话极有分量的人。不过，张乐山的祖父和父亲在他8岁那年，打劫的时候被官府抓获了。后来判处了死刑，张乐山的母亲是一个很一般的村妇，被这件事吓得卧床不起，没多久就去世了。就这样，张乐山成了一个孤儿。
张乐山总共有兄弟7个，他在家排行老三，因此后来发迹后，人们称他为三爷。张乐山有三绝，一个是眼睛亮，他观察能力非常强，不管是察言观色还是查看敌情，他总是比别人快一步；另一个是腿脚快。
这是小时候练就的功夫，后来一次"鸿门宴"，他就是凭借着手脚功夫才成功逃脱的，这一点我们放在后面讲；最后一个是"管亮"。所谓的"管亮"，是东北一带土匪的黑话，意思是枪法好。在东北一带，土匪都有自己的一套黑话，路上遇着时，如果能流利使用黑话交流，土匪就会默认遇到的是同行，网开一面；如果一句黑话都不会，那必然就不是土匪了，往往就会被他们谋财害命。
