魏明帝期间，司马懿奉命指挥西北地区对蜀汉作战，成了胡遵的顶头上司。魏明帝景初二年（公元238年），司马懿闪击辽东，胡遵随军参战，击败公孙渊手下将领卑衍、杨祚，从此在军中崭露头角。
曹魏嘉平四年（公元252年），胡遵又以征东将军之职转战淮南，先后与东吴名将诸葛恪进行多次较量。三年之后，胡遵又晋升为卫将军，并于次年病逝。
胡遵生了六个儿子，其中最为著名的两个分别为胡奋和胡烈。胡奋不但与父亲胡遵一起参与了辽东之战，还因谋略出众深得司马懿喜爱。战争结束后被任命为校尉，后来又历任徐州刺史、征南将军、散骑常侍、镇军大将军等职，曾平定匈奴刘猛发动的叛乱，并参与平定东吴的三国最后一战，战绩卓著，是西晋著名开国将领。
