不久，曹操升他为主簿，主管相府一切事务，并让他和儿子曹丕交游，用意很明显，想让他与曹丕成为至交，好辅佐曹丕完成统一中国的大业。

但是，在委以重任的同时，曹操仍觉得放心不下，他通过各种渠道网罗司马懿的信息资料，多方调查、考察、验证。有一次，他听人说司马懿有“狼顾之相”，即向前走路猛然回头的时候，脸面正向后，而身躯不动，仍保持向前行走的姿态。他决定亲自验证。果然，司马懿确有狼顾之相。于是他告诫曹丕：“司马懿内忌而外宽，猜忌多权变，不是做臣子的人，将来一定会干预你的家事，你要防备他些才好。”并且多次想加害司马懿，以绝后患。没想到司马懿早已与曹丕建立了很深厚的感情，曹丕不但不把他父亲的忠告当成一回事，还多次保护司马懿，使他免遭杀身之祸。

尽管处境险恶，司马懿却镇静自若，一如既往，表现出忠心耿耿、兢兢业业的姿态，夜以继日，废寝忘食，用韬光养晦之计，蒙蔽了老道的曹操，化解了曹操对他的猜忌。

曹丕称帝后，司马懿被提升为大将军，录尚书事。曹丕出征，便命他镇守关中，处理政务，对他非常倚重，视为股肱之臣。

司马懿建功立业，主要在明帝时期。曹睿又继承乃祖、乃父事业，加快了统一中国的步伐。这时正值诸葛亮六出祁山之时，拒蜀的重任落到了司马懿肩上。诸葛亮带大军十万，扎营渭水之南的五丈原，分兵屯田，以解决远征粮食问题。司马懿引军渡渭，背水为营以拒之。相持百余天，诸葛亮数次挑战，他高挂免战牌。诸葛亮赠送给他女人的衣服，嘲笑他胆小，他仍不出战，但为了安抚军心，装出大怒的样子，上表明帝请战。他感到诸葛亮攻势甚急，其中必有缘故，便向下战书的蜀兵询问，诸葛亮吃饭睡觉怎么样。使者回答说：“诸葛公夙兴夜寐，什么事都亲自过问，吃食不到数升。”司马懿便明白了，诸葛亮吃得少是心里烦，肯定活不几天了。果然，诸葛亮病重而死，其兵自退。

显示司马懿军事才能的是平定襄平之战。景初二年（）春，明帝令司马懿带兵四万征讨辽东公孙渊。明帝问其战略，他说：“公孙渊必先拒辽水，后守襄平，我去百日，攻百日，还百日，以日为休息，一年足以平定。”六月，司马懿军至辽东，公孙渊命将兵数万屯辽隧，围堑二十余里。司马懿说：“贼所以坚壁以守，想消耗我们的兵力，打持久战。我们若去攻打他，正中了他的奸计。贼兵大都守在这里，他的老巢必定空虚，我们若直接挥师襄平，一定唾手可得。”于是一方面虚张声势准备强攻，另一方面暗渡辽水，到达北岸，直扑襄平。公孙渊守将慌忙撤兵，被杀得大败，魏军遂进军围襄平。时值秋七月，暴雨季节，两月不止，辽水暴涨，平地水深数尺，三军恐慌，想移军而走。司马懿发布军令：谁再敢言迁宫，一律斩首！并将犯令的都督令史张静斩首以镇之，军心乃定。公孙渊依仗暴雨大水，用船运输辎重粮草，泰然自若。军士们想去抢夺，司马懿不允许，说：“这不是当年咱们攻打孟达的时候。孟达兵少而军粮够他们吃一年的，我们的兵力比他多四倍，而粮草不够一个月用的，所以我们采取速战速决的打法取得了胜利，即使以硬碰硬，用四倍的力量打他们，损失一半兵力将他们攻下来，也划算，这叫不计死伤，而争粮草。现在，敌众我寡，但我饱敌饥，大水围困，敌人的兵力优势无法发挥，而我们并不怕敌人反攻，担心的是敌人逃跑，如今他们粮草将尽，如果抢掠他们的牛马粮草，等于驱使他们逃跑。作战应重视随机应变，敌人恃仗人多雨大，因此虽然饥困也不想束手就擒，我们应该显示出对其无能为力的样子，而使他们安于现状。”朝廷大臣闻军遇雨，想建议令司马懿撤兵，明帝不同意，说：“司马懿临危制度，擒公孙渊可计日而待也。”晴天以后，司马懿完成了对襄平的包围，作土山，挖地道，准备攻城的器具，昼夜强攻，矢石如雨，公孙渊窘急不堪，粮尽而人相食，只好派人请降。司马懿决不心慈手软，斩杀来将，对部下说：“作战要义在于能战当战，不能战当守，不能守当走，剩下的就只有投降和死亡了。公孙渊不肯面缚请降，只好消灭他。”于是攻陷襄平，斩公孙渊父子，并诛其公卿以下及兵民七千余人，可谓心狠手辣。

受托摄政，诡计多端

景初三年（），明帝病危，召司马懿入见，他紧握着司马懿的手说：“我把后事全托给您，您与大将军曹爽共辅少子。我苦苦支撑病体等您回来相见，现在死而无憾了。”言毕叫出自己的两个儿子，让司马懿仔细认清哪个是传位的曹芳（即齐王），又叫曹爽上前抱住司马懿的脖子。这时的司马懿表现得痛哭流涕。是日，立曹芳为皇太子。不久，明帝死去，曹芳即位为齐王，司马懿和曹爽分领三千人马轮番在宫廷内外值班。因为司马懿服侍曹家三代，年事已高，取得了曹家信任。所以包括曹爽在内，都将司马懿当作父亲对待，凡事必咨询于他，不敢独断专行。

但此后不久，围着曹爽转的一群朋党何晏、邓、李胜、丁谧、华轨等人想排挤司马懿，以让曹爽独揽政权，以此为进身之阶，于是便让齐王发诏，调司马懿为太傅，表面是提高了官位，尊重了他，实际是剥夺了他的实权。面对这种处境，司马懿忍气吞声，决定以退为攻，请求告者养病，又演开了他的拿手好戏——装病，趁机联络心腹，积蓄力量，暗中策划。