于是，一向战功赫赫的杨家人便觉得颜面荡然无存，就相继离开了天波府，随后天波府慢慢变成一座空宅。其实，杨文广没有建功立业，主要原因还是北宋皇帝的打压。杨文广继承了杨家时代忠心报国的精神。
但是宋太祖上位后，不仅疑心重，而且还非常重文抑武。宋微宗时期，杨家的将领基本发挥不了作用。整个宋朝已经显得颓废之势了，军队也是不堪一击。后来，金人攻进了开封城内，但是他们非常敬佩曾经杨家将的忠烈勇猛，攻下开封后，并没有对杨府赶尽杀绝。
只是，后来杨府一家就搬到了临安一带，过着与世无争的生活。在当时，杨家将领虽然还能够抗震杀敌。但是由于朝廷的腐败和皇帝的不作为。让它们心有余而力不足。到了南宋时期，虽然杨家将从此衰落。百姓们依然非常崇拜他们，对他们的敬佩之情也更加热烈！
