杨森为人非常的好色，女人和子女非常的多，而且为了让自己的势力更加强，也做了很多残暴的事情。
值得一提的是他做了一件让人非常讽刺的事，拥有12个老婆的他，竟然非常赞同“新政”，甚至号召人们废除封建婚姻，只是也被很多人反驳连他自己都做不到。
当然杨森也是个聪明人，他为了和蒋介石搞好关系，将自己的三女儿嫁给了蒋介石的侄子，和蒋介石也算是结了亲，虽然也风光了一段时间，但是解放战争后他也只能随着蒋介石去了台湾。
作为蒋介石的亲家，又陪着蒋介石来了台湾，蒋介石对杨森自然也不会多差，所以杨森在台湾过的日子非常的舒服。这一点从他在九十岁高龄时，还娶了一位小妾就可以看出来了。
