此后数百年，藏地政治中心不断迁移，先是后藏萨迦派崛起（元朝），而后帕木竹巴政权在前藏乃东称雄（明朝），紧接着仁蚌巴、藏巴汗政权又在后藏立威。
红山宫的建筑就在战火中逐渐颓败，仅留下了法王洞和帕巴拉康。
兴建红宫时的壁画
五世达赖阿旺罗桑嘉措复建的白宫部分，直到1645年（藏历木鸡年），五世达赖喇嘛受清朝册封后，又将目光投向了拉萨的红山，看到红山宫如此破败，更为巩固政教合一的甘丹颇章地方政权，请求顺治皇帝资助重建红山宫。
1645年五世达赖喇嘛亲临布达拉宫，对由喇钦朗热瓦设计的白宫修建图作了吉祥加持。
在朝廷的支持下，红山宫顺利重建，五世达赖时期所复建的宫殿，就是现在布达拉宫的白宫部分，布达拉宫自此成为西藏地区的政治和佛教中心。
历代扩建才形成现在的规模
1682年，五世达赖在布达拉宫去世。
