段煨是武威姑臧人，和威震西羌的前太尉段颎（就是贾诩冒充是他外甥的那位）是老乡，推测二人应该是同族。
孙坚进攻雒阳后段煨奉命屯兵华阴。段煨在董卓军里是个很特别的人物，董卓部下的将领和军队以嚣张跋扈、军纪败坏著称，而段煨却为人低调、军纪严明。
在屯兵华阴之后，段煨就在那扎根下来，安心经营这里，之后董卓那边闹出什么幺蛾子他都不去参与。
董卓死后他顺势响应朝廷，但没有带兵前往长安，李傕等人攻下长安后他依然响应朝廷，还是驻扎在老地方，献帝东逃时要经过他的地盘他就恭敬地欢迎，要走他也不挽留，曹操迎奉献帝后他又响应曹操。
段煨头脑十分清醒，从董卓被杀开始他就尽力撇清自己和董卓军的关系，毕竟董卓军的名声实在太烂，最终段煨成功洗清自己出身，成为曹操派去讨伐李傕的关中诸将的一员，得到了王师的身份。
