他的第7个老婆曾桂芝和第9个老婆蔡文娜，是12人中最悲惨的两个。曾桂芝原来是杨森的养女，后来成为了刘谷芳的丫鬟。但由于曾桂芝身材姣好，楚楚动人，有这么绝色的女子每日在身旁打转，杨森自然心中有了想法。最终在几房姨太太的帮助下，纳了年仅十四岁的曾桂芝为妾。
后来还送曾桂芝到外地求学，没想到读大学的曾桂芝与她的同学谈起了恋爱。这件事情被杨森所知道之后，就找了借口让曾桂芝回来。曾桂芝回来之后还将这个恋情告诉了杨森，并且还希望能帮他她的同学谋一份差事。
杨森对曾桂芝提出的要求竟然同意了，但没想到的是当曾桂芝的同学刚踏入杨森的管理范围，就被打死了，并且将他扔在了野外。而曾桂芝在去接同学的路上也被杀害了。虽然两人已经身亡，但是杨森面对这顶绿帽，依旧觉得十分愤恨，于是又将两人的尸体绑上石头沉入江河。
