由于极其喜爱习武从军，在他中学毕业之后就到四川陆军速成学堂学习。后来他的同学几乎都成为了军阀集团的核心人物。在考入陆军速成学堂之前，父母就给他安排了一门亲事，在那个年代婚姻就是父母之命，媒妁之言。对于父母的安排杨森并没有任何反对之意，而他的未婚妻张氏对杨森也很是满意。
很快两人就结婚了，结婚后的两人就像普通新婚夫妇一样恩爱有加。杨森对张氏及其体贴照顾，而张氏将杨森一家照顾得十分妥贴，很得家人欢心。但结婚没多久，杨森就进入了四川陆军速成学堂学习，两人就开始了一段异地婚姻。然而没多久张氏就感染严重的风寒，当时的医疗条件并不完善，很快张氏就因病去世了。
杨森从陆军速成学堂毕业后就被分配到新军十七镇担任排长。由于当时杨森还没有一个子女，父母在老家给杨森准备了填房谭氏。没过多久，谭氏就为杨森生下了一双儿女，但是后来随着杨森的官越做越大，他的老婆也越来越多，杨森就遗忘了谭氏。最终谭氏只能守在老家直到去世。
