薛仁贵、薛讷、薛楚玉父子三人长期在幽州地区任职，担任最高军政长官多年，薛家很大部分应该移居幽州了。薛家从薛仁贵开始均已武将知名，和一般士族讲究家学文化的作风大为不同。薛仁贵这一只没有完成向文化士族的转型，在开元天宝年间士族已经开始鄙薄武人朝廷重用蕃将的风气下，薛讷薛楚玉兄弟死后，家族各人的仕途都不是很顺利。
在安禄山造反的时候，薛嵩参与其中。由于薛嵩作战勇猛，得到了叛军的赏识提为刺史。后来情况变坏了，叛军溃败。而薛嵩为了保全不拖累家族，投降了。皇帝赏识他的才能，于是封为地方节度使。后感恩朝廷，一直兢兢业业，恪尽职守。最后被封为了高平君王，职位超过了祖父薛平贵。
