小德张一家人在这里住了五年。世袭庆亲王爱新觉罗·载振来找小德张，恳请他把这处豪宅转让给自己。小德张没辙，只好让出凝结了自己心血的家。庆亲王也算够意思，把自己在英租界都柏林道（今郑州道）的八亩多空地、老城厢北马路的四座门脸房都给了小德张，另付给他27万银元。
一个月后，张府成了"庆王府"。
小德张只好先借住在曾经统帅西北军的马福祥家中（今河北路237号，和平区第五幼儿园）。当初慈禧逃往西安时，马福祥带兵护驾，与小德张结为兄弟。这所别墅的设计师也是小德张。也就是说，这是小德张在天津盖的第二幢小洋楼。
此时，小德张又开始在都柏林道上庆亲王给他的那块地做文章。这处宅院（今郑州道和湖北路交口）被他设计成一座中西合璧的城堡。宅子建好交工那天，小德张站在院子里哈哈大笑--可以在这幢房子里养老了，管他什么皇亲国戚，谁买我也不卖，谁让我搬，我也不搬！
