景初三年（239年），魏明帝曹睿死，太子齊王曹芳繼位，司馬懿、曹爽輔政。曹睿臨死前向司馬懿託孤，此後大將軍曹爽下了司馬懿的兵權。司馬懿詐病，使曹爽失去警惕。249年（嘉平元年），司馬懿趁曹爽陪曹芳出城祭祖時，在城中發動兵變，半天時間就佔領了洛陽。魏主曹芳只得依司馬懿召曹爽回城，司馬懿誅滅了曹爽三族，魏國政權全歸司馬氏。

公元251年（嘉平三年）八月，司馬懿因病去世，享年七十三歲。其子司馬師、司馬昭輔政。公元265年，其孫司馬炎以晉代魏，追尊司馬懿為“宣帝”。

司馬懿病死前兩月，常有噩夢。據《晉書·宣帝本紀》記載：魏嘉平三年（漢延熙十四年，高句麗中川王四年，吳太元元年，251年）六月，司馬懿“寢疾，夢賈逵、王凌為祟，甚惡之。秋八月戊寅，崩於京師，時年七十三”。

後來人們因為諸葛亮死在他手裡，奪了曹魏的大權，認定他是個大奸賊，所以後來就流傳這樣故事：諸葛亮死後，司馬得到了諸葛亮的兵法，並高興的翻閱起來。但是諸葛亮早就料到司馬行動，並且知道司馬有翻書舔手指的習慣，於是在死前與兵書上塗了毒藥，於是有了死諸葛都死活司馬的民間傳說。

這天，也就是諸葛亮與世長辭的這天。司馬懿得到了這一訊息之後，火速領兵來到諸葛亮的墓地。吩咐手下人在門口等候，自己同兩個兒子進了墓地裡，大兒子在前，小兒子在後，把自己夾在中間，深一腳淺一腳地往裡走。大約走了半個時辰，來到了墓地的正中間。看見擺著三座塑像，中間是諸葛亮，兩旁是二位童子。司馬懿真恨不得打碎塑像。但轉念一想，畢竟曾經同窗好友，就拜一拜。於是跪下磕了三個頭。誰知這一跪竟然起不來了，嚇得他出了一頭冷汗，無意之間抬頭看到了視窗邊的四行小字：“念起同窗誼，饒你一命歸。脫盡盔和甲，才能離此地。”司馬懿連忙讓兩個兒子幫他脫掉盔甲，才站了起來。司馬懿心生好奇，挖開地一看，原來底下埋了一個千斤重的大吸鐵石。司馬懿抽出寶劍，砍碎了塑像。又往前走了半個時辰，到了墓地的盡頭，打開了棺材，拿出了寶書。又想起當年老師讓他受騙的事，就從最後一頁開始看。司馬懿有個習慣，總愛沾唾沫看書，看著看著，不覺頭昏眼花，偶見封面寫了四行字：“書用毒藥喂，治死司馬懿，你毀我泥身，我滅你肉身。”司馬懿看後長嘆一聲：“可恨的諸葛亮，死後還要害我呀。”說完七竅流血，死了