于是，曹爽请免职，随曹芳回京。曹爽兄弟一回府，即被司马懿派兵包围。司马懿违背诺言，以谋反的罪名杀曹爽及其党羽何晏、丁谧、邓飏、毕轨、李胜、桓范等，并灭三族但对曹爽门下的二流人物，司马懿特别宽大处理，如鲁芝，辛敞，王沈等人，后来还有人成为晋朝新贵。

平元年二月，曹芳任命司马懿为丞相，司马懿固辞丞相之职不受。十二月，诏命加九锡之礼，朝会不拜，司马懿又固辞九锡。

嘉平二年春，曹芳命司马懿在洛阳立庙。司马懿久病，不任朝请，每遇大事，天子亲自到他府中去征询意见。

司马懿诛曹爽，导致曾为曹爽笼络升为车骑将军、开府仪同三司，后又升为司空的王凌心生不满，与侄子令狐愚图谋废黜曹芳，立楚王曹彪为皇帝。还未行动，令狐愚便已死亡。

嘉平三年正月，王凌借口吴人塞涂水，请求出兵征讨。司马懿知其阴谋，不令兴兵。并于四月亲率中军讨伐王凌。司马懿故技重施，先下赦书赦免王凌之罪，写信安慰他，但不久大军突至。王凌自知势穷，便独自乘船迎接，派属官王或请罪，送上印绶、节钺。

司马懿军到武丘，王凌在水边自缚等待，说：“我如有罪，公可用半片竹简召回，何苦亲自来呢？”司马懿说：

“因为君非折简之客啊！”说罢，命将领率六百人马想把王凌解送洛阳。途经贾逵的寺庙，王凌大声呼庙。五月，王凌到项城，绝望，服毒而死。

司马懿进军寿春，参与王凌之谋的人都出来自首。司马懿推知其事，凡牵连在内的一律诛灭三族。派人挖开王凌、令狐愚的坟墓，在附近的市上，剖棺暴尸三天，然后，烧掉他们的印绶、官服埋于土中。

司马懿最终逼楚王曹彪自尽，并趁机把魏之王公全部拘捕，放置邺城，命有司监察，不准他们互相交结往来。

曹芳策命司马懿为相国，封安平郡公，孙及兄子各一人为列侯，前后食邑五万户，封侯者十九人。司马懿固辞相国、郡公之位不受。

嘉平三年六月，司马懿病重，而常常梦见贾逵、王凌对自己作怪。八月戊寅，司马懿在洛阳去世，享年七十三岁。

当年九月庚申，司马懿被葬于河阴首阳山，谥文贞，追封相国、郡公，司马孚秉承他的遗愿，辞让郡公和殊礼，遗命简葬，作顾命三篇，敛以时服，不树不坟，不设明器。谥号后改为文宣。

同年十一月，有司奏请将各位已故功臣的灵位置于魏太祖庙中，以配享祭祀，排位以生前担任的官职大小为序。太傅司马懿因位高爵显，列为第一。

司马昭封晋王后，追封司马懿为宣王咸熙二年，司马昭之子晋武帝司马炎受魏禅，给司马懿上尊号为宣皇帝，称其陵墓为高原陵，庙号高祖。

司马懿在魏明帝大修宫室之际他也加以劝谏，魏明帝驾崩后他奏请罢修宫室，雕玩物之人力，节用务农，使天下欣赖。拔人才上，司马懿从寒门中提拔了邓艾、王基、州泰等人才，如虞预所说，经略之才可谓远矣。