临终前他留下过遗言，史书记载是这样的：于首阳山为土藏，不坟不树；作顾命三篇，敛以时服，不设明器，后终者不得合葬。意思是，我去世之后一切从简，后来的人也不得前来祭拜。后来的另一条记载更为奇怪，因为遗诏还有另一部分，说的是司马懿让自己的儿子及后代都不许给自己祭拜，不封墓冢，不建陵寝。
这就很奇怪，中国人讲究事死如事生。不管是平民百姓还是皇帝，都相信自己在另一个世界能够继续生前的享受，所以特别重视自己的墓葬规格还有陪葬品。往往是，什么东西贵重放什么，司马懿作为当时朝政的真正把控者，他的墓按理来说应该要豪华无比，为什么他会有这样的要求？而且中国人祭祖这是一种习俗，只有没有后代的人才没有人扫墓，司马懿并非没有后裔，他又为什么要这样呢？
其实原因有两个，第一个就是不希望别人盗自己的墓。古墓豪华，但盗墓者也众多，司马懿身在曹魏，想必比旁人更清楚这一点。要知道，曹操的摸金校尉、发丘中郎将可都是干这事的。常言道汉墓十室九空就是这个道理，而且私人盗墓活动也颇为猖獗，司马懿不得不防。第二个原因就跟他当初夺权有关，嘉平元年（249年）正月，司马懿趁着曹芳跟曹爽外出祭拜魏明帝，发起政变。
