段芝贵
为了表示感谢，载振在父亲奕劻面前极力推荐段芝贵，奕劻又向慈禧太后推荐段芝贵。过了不久，朝廷就把段芝贵连升三级，由道员破格提升为布政使衔，署并黑龙江巡抚。这件事情恰巧被袁世凯的敌对势力御史赵启霖所闻，御史赵启霖和尚书岑春煊，以及奕劻、袁世凯的其他敌对官员，纷纷弹劾段芝贵。
除了各级官员弹劾外，还有各大报刊如《申报》、《时报》等也不惜版面作追踪报道，此事一下子弄的全国皆知，轰动一时。慈禧太后面对如雪片般的弹劾折子雷霆大怒，先是把段芝贵的黑龙江巡抚职务撤销，紧接着又派醇亲王载沣，大学士孙家鼐严查此事。
庆亲王奕劻看到慈禧太后雷霆大作，为了保住儿子，便主动上折子请求裁撤载振的农工商部尚书的职务，慈禧太后考虑到载振养茶园名妓不但违反祖制，还有辱皇家颜面，如果没及时收尾，事情越闹越大，朝廷将会越来越难堪，就先撤了载振的农工商部尚书的职务。
载振为了名妓杨翠喜惹了一身晦气，不仅丢了尚书的职务，还整日被奕劻训斥，从此不敢再沾杨翠喜一丝半点儿，而且还派人把杨翠喜送到天津盐商巨富王益孙哪里，并且让王益孙写了份假证明，证明杨翠喜一直是王益孙的偏房小妾，和载振没有关系。
