自康熙十年(1671年)开始，至道光九年(1829年)，康熙、乾隆、嘉庆、道光十次东巡在此驻跸。
乾隆时期，为清帝东巡驻跸和恭贮先祖及宫中之物，又加以重修、重建和扩建，开成这座皇宫与行宫并存的积累状宫苑建筑群体。