1924年，在第二次直奉战争后奉系军阀头子张作霖进京，他听说了载涛相马的故事就派人去请载涛和他赛马。张作霖出身响马几十年征战生涯骑术也是十分高超，他在马背上盛气凌人有意轻视载涛，但比赛结果却是载涛远胜张作霖。晚上张作霖在"大帅府"宴请载涛，有人提醒载涛说：白天你的骑术胜过张大帅，晚上去赴宴定是凶多吉少你最好不要去，载涛却坚持言出必行欣然赴约。晚宴中张作霖说明真实意图，想要请载涛出山并承诺给予厚禄高官，但载涛却无意出山辞谢。
1935年，当时已经是伪满洲国皇帝的溥仪从长春专程到遵化的清东陵扫墓，当时日本的特务就曾动员载涛前去迎接并一起赴沈阳北陵扫墓。但载涛在民族大义前不仅自己言辞拒绝了日本人这一要求，还积极动员在北京那些清朝的遗老遗少都不去。后来，日本人想尽办法多次游说载涛去往伪满洲国"辅政"但都被他拒绝。就连面对一手策划建立伪满洲国的日本特务头子土肥原贤二的威胁，载涛也没有就范，拒绝成为中华民族的罪人。
1936年，当时的河北省主席、民国军政要员宋哲元也想邀请载涛出来做官。宋哲元了解到载涛好马，于是决定投其所好，特地挑选了三匹骏马送给载涛。但这次载涛依然拒绝出山，而且还把马退还给了宋哲元。
直到建国后，载涛在一次谈话中讲述了这三次被邀请出山的经历，等到第四次出山相邀：被人民政府任命为马政局顾问。虽然这次出任的官职不管是论职务还是待遇都没有前几次高，但载涛却欣然接受。用他自己的话解释：共产党是得民心的政党，是最有前途、最能带给中国兴盛的党。载涛也用自己的实际行动把这项工作做好，为人民作出了自己的贡献。
