建安六年（201年），郡里推举他为计掾（相当于现在单位里的财务），引起了曹操的注意。曹操当时正在攻打袁绍，并且胜利在望。他想要招揽司马懿为自己效力，但是司马懿拒绝了。
因为在司马懿看来，曹操只是一个寒门出身的军阀，并不是合法的皇帝。而且司马懿也不认同曹操的霸道和暴力。
建安十三年（208年），曹操消灭了袁绍，并且统一了北方。他自称为丞相，并且开始对抗东吴和蜀汉。这时候，他再次邀请司马懿来为自己效力，并且采用了强制手段。
司马懿无奈之下只好屈服于曹操，但是他并没有忘记自己的理想和抱负。
他开始在曹操的麾下积累，自己的势力和声望，等待时机。
建安二十五年（220年），曹操去世，太子曹丕继承了他的爵位和军队。曹丕是司马懿的好友，也是他的青睐者。司马懿因为屡建奇功，成为了曹丕最重要的谋士之一。
延康元年（220年），曹丕强迫汉献帝刘协禅位，废除了汉朝，建立了魏国。司马懿对此并没有反对，因为他知道这是一个历史的必然，他也看到了自己的机会。
开始在魏国内部扩大自己的影响力，同时对外抵御蜀汉和东吴的进攻。他成功地击败了诸葛亮、孙权等对手，为魏国的稳定和发展做出了巨大贡献。
