秦灭赵国后，赵王之弟撤退到代地坚持抗秦。秦军打遍天下无敌手，赵军战败，秦军在高柳俘虏了代王。秦始皇在这里设置了代郡，治所就在高柳，雁门郡与雁门山就不是一回事了。
无论战国还是秦汉，雁门郡都是边郡，北方就是中原王朝最强大的敌人--匈奴。赵国名将李牧就"常居代、雁门"，抗击匈奴，西汉的飞将军李广也曾做过雁门郡太守，卫青、霍去病出击匈奴也把雁门郡当成北进的桥头堡。秦汉时雁门郡的郡治在山西省朔州市右玉县。
到了东汉末年，由于北方边境凋敝，雁门郡的治所南移放在了广武，就是今天的代县附近。
西晋八王之乱，然后是五胡南下，大将刘琨为了拉拢鲜卑拓跋部，把勾注山北面的地盘送给后来建立的北魏的拓跋部。北魏孝文帝元宏极力汉化，假装南征，把文武百官连哄带骗拉到了洛阳，然后说朕要迁都洛阳。
