1924年，冯玉祥发动"北京政变"后，溥仪被赶出皇宫，载涛的官职也被罢免。一时没了收入来源，只好坐吃山空。几年后，载涛不得不卖掉贝勒府，换来的银子很快也被用光了。无奈之下，载涛只好在德胜门外摆地摊，维持生计。
后来，奉系大军阀张作霖、北平市长宋哲元先后请他出山做官，都被他谢绝了。北平沦陷后，日本人也找到他，希望他到伪满洲国任职，载涛义正言辞地拒绝了。同时，对溥仪勾结日本人，想复辟王朝的行为很愤怒，两人因此反目。
载涛在爱新觉罗家族中有重要地位和作用，他德高望重，平易近人，被尊称为"族长"。新中国成立后，领导人问载涛与溥仪还有来往吗？他回答道："溥仪是战犯，我怎能与他有来往呢？"领导人劝他说要帮助溥仪改造，重新做人，还让他去看溥仪。
