四百年后，当圣殿被毁，王国分裂为以色列和犹大两个国度。北方的以色列被亚述征服，南方的犹大也难以逃脱巴比伦人的刀锋，结果便是城墙被拆除，大量的金银珠宝被带往巴比伦。
犹太人当然渴望回归，结果五十年后，这一天真的来了，波斯的居鲁士大帝灭了巴比伦，这新的征服者，慷慨地允许犹太人重建耶路撒冷。
于是在公元前516年，也就是东方的圣人孔子在齐国如醉如痴地听着《韶》乐，三月不知肉味的年代，犹太人便恢复了耶路撒冷的繁荣。之后罗马人到来，耶路撒冷又成为罗马帝国犹太省的首府。
也就是在罗马统治的年月，一个叫做犹大（这个名字的出现总是意味着大事件发生）的人，拿了三十块银币，便出卖了拿撒勒人耶稣。在逾越节前夜，耶稣就在这座城的橄榄山上被捕，随后交给罗马帝国犹大省总督本丢彼拉多，最终钉死在城郊的十字架上。
这就意味着，耶路撒冷从此不再仅仅是犹太人的城，也是世间所有基督教徒（包括东正教）的城。
随后犹太人的反抗，又让罗马皇帝下定决心，将这座城彻底铲平，在原址新建了一座罗马城市，然后在圣殿山上建起了罗马神庙，至于犹太人，则全部赶出这里，一个也不许留。
换句话说，从那时起，耶路撒冷便不再属于犹太人，事实上是耶路撒冷已经被罗马人销号了。
到了4世纪，罗马帝国皇帝君士坦丁一世，又把这里变成了一个基督教的圣地，城市因此复活，虽然犹太人依旧不被允许居住，但可以在每年的特定时间到一处叫做西墙的所在，尽情哭泣一把。
