不过，当时的"虎牢"还只是泛指东虢国内的一片区域，并没有指定的具体城池。这种情况持续了两百七十多年，直到公元前767年，郑武公吞并了东虢国后，在蓄养老虎的地方设置了一处关城，名为"制邑"，这算是虎牢城的最初城址。公元前563年，晋国吞并了郑国后，在制邑修建了"虎牢城"。此时，虎牢城才有了真正意义上的城址。而"虎牢关"的出现则又晚了三百多年。
据《水经注》载，虎牢城建成后的三百多年的时间里曾几次易手。直至公元前563年，秦国吞并韩国后在虎牢城修建了虎牢关，这是虎牢关出现在史料中的最早记载。虎牢关地势险要，又正处于东西交通的咽喉，是兵家必争之地。自古以来，此地便多次爆发战事，其中最为著名的有两次。一次是楚汉相争时期。当时，为了争夺虎牢关，刘邦和项羽在此地"大战七十，小战四十"；第二次是在隋唐时期，唐太宗李世民率三千五百人抢占虎牢关，与窦建德展开激战，最终将其生擒，为唐王朝的建立奠定坚实基础。
虎牢关在后期朝代更迭的过程中曾多次更名。两汉时期被更名为"成皋县"，隋朝时期为"汜水县"、"汜水关"；唐朝时期为"武牢关"；明朝时期为"古崤关"等。
