司马懿少年时和著名隐士胡昭关系很好。因与同郡的周生等人结怨而被谋害，胡昭知道后立刻涉险寻找，在崤山渑池之间找到周生一行，请求他们放过司马懿，周生开始不肯，但胡昭哭泣的诚意最终还是感动了他，救下司马懿。
建安六年（201年），郡中推举他为计掾。时曹操正任司空，听到他的名声后，派人召他到府中任职。司马懿见汉朝国运已微，不想在曹操手下，便借口自己有风痹病，身体不能起居。曹操不信，派人夜间去刺探消息，司马懿躺在那里，一动不动，像真染上风痹一般。
建安十三年（208年），曹操为丞相以后，使用强制手段辟司马懿为文学掾。曹操对使者说，"若复盘桓，便收之"。司马懿畏惧，只得就职。曹操让他与太子往来游处，历任黄门侍郎、议郎、丞相东曹属、丞相主簿等职。
