平步青云

    公元255年（正元二年），司马师病逝，司马昭执政，为大将军。司马昭任大将军，征辟羊祜，羊祜没有应命。于是，朝廷公车征拜羊祜为中书侍郎，不久升为给事中、黄门郎。 时魏帝高贵乡公曹髦爱好文学，在位者希承上意，多献诗赋，汝南人和迪因为违逆上意而遭贬斥。羊祜在朝廷，虽身处士大夫之间，但持身正直，从不亲亲疏疏，因此，有识之士，对他特别尊崇。 陈留王曹奂时期，羊祜被封为关内侯，食邑一百户。因为羊祜心中对天子不以为然，所以不愿再做侍从之臣，请求出外。后来改为秘书监。曹魏末年已完全是司马氏的一统天下，司马懿父子兄弟相继执政。他们先后废杀两位皇帝，又屡次诛杀大臣，改章变制，发号施令，成为没有皇帝名号的实际统治者。这时，羊祜已加入司马氏集团，并逐渐上升为该集团中的重要人物。司马炎建五等爵制，羊祜以功被封为巨平子，食邑六百户。当时，钟会颇得天子宠爱，而又心性忌刻，羊祜怕他，敬而远之。钟会被诛之后，羊祜任相国从事中郎，与司马炎的另一心腹荀勖共掌机密。晋代魏前夕，司马炎调羊祜为中领军，在皇宫当值，统领御林军，兼管内外政事。

屡建功勋

    266年1月（咸熙二年）十二月，司马炎受禅称帝，建立西晋王朝，史称晋武帝。因为羊祜有扶立之功，被进号为中军将军，加散骑常侍，进爵为郡公，食邑三千户。羊祜怕引起贾充等权臣的妒嫉，固让封公，只受侯爵，于是，由本爵钜平子进封为侯，设置郎中令，备设九官之职，并授给他的夫人印绶。泰始初年，晋武帝下诏：“夫总齐机衡，允厘六职，朝政之本也。祜执德清劭，忠亮纯茂，经纬文武，謇謇正直，虽处腹心之任，而不总枢机之重，非垂拱无为委任责成之意也。其以祜为尚书右仆射、卫将军，给本营兵”。当时

三国志11的羊祜头像
，王佑、贾充、裴秀等人均为前朝名高望重之臣，羊祜对他们心存谦让。
晋武帝称帝后，素有吞吴之志。便积极筹划消灭孙吴政权的战争，以实现统一全国的大业。