段芝贵位置坐的这么高，引起了慈禧的不满，后来还发生了"丁未大参案"，袁世凯被迫解职回家，段芝贵也早就被革职，因为载振为了不被牵连，将杨翠喜送给了天津的巨富王益孙，当时还有很多文人对这件事写诗："杜曲日返骄宝马，章台风急返香车; 王孙直觉春魂断，海怨云愁有暗嗟。"王益孙这次是人财两丰收。
1912年，溥仪退位，袁世凯当上大总统，段芝贵也跟着富贵起来，这时候杨翠喜哪里还能在王益孙家里坐得住，立马跟在了段芝贵的身边，跟她出入各种场所，参与各种交际活动，此时的杨翠喜已经20出头了，风华正茂，段芝贵将这样一个美女带在身边，每天都神采奕奕。
杨翠喜本来是段芝贵买来的女子。段芝贵还拆散了她和李叔同原本萌芽的爱情，但经历这么多之后，杨翠喜或许已经看透了，她本来就命苦，被转手过两个男人，不再计较什么，只要自己能够过更好，她就愿意攀附，这时候段芝贵也被这个女人征服了，她想要什么，他都尽力为她得到。
