早在208年，也即是曹操当选丞相后，29岁的司马懿便被曹操征辟为文学掾，凭借才华，之后又担任丞相东曹属。丞相主簿等职务，此等官职都不算大，但是却能够直接参与政事，体现了曹操对司马懿的重用。
然而即便如此，司马懿在曹操时代，并没有能够掌握兵权的机会，同样是一代枭雄的曹操，对于司马懿也是多有提防，根据《晋书》所提到，他曾经对继承者曹丕说到："司马懿非人臣也，必预汝家事。"
不过曹丕青年时期就认识司马懿，和其感情深厚，并没有听父亲的话，而是加以重用，执政短短数年，首次给予司马懿兵权人，让他对抗来犯的蜀吴，以及平叛辽东，而曹丕在位短短几年就去世，临终前更是委托其作为托孤大臣，交待后事。
