羊祜在边境，德名素著，可在朝中，却每遭诋毁。他正直忠贞，嫉恶如仇，毫无私念，因而颇受荀勖、冯紞等人忌恨。王衍是他的堂甥，曾来见他陈说事情，言辞华丽，雄辩滔滔。羊祜很不以为然，王衍拂衣而去。羊祜对宾客说：“王夷甫方以盛名处大位，然败俗伤化，必此人也”。西陵之战，羊祜曾要按军法处斩王戎。所以，王戎、王衍都怨恨他，言谈中常常攻击他。当时人说：“二王当国。

    公元276（咸宁二年）十月，晋武帝改封羊祜为征南大将军，恢复其贬降前的一切职权，开府仪同三司，可以自行辟召僚佐。当初羊祜便认为，要想伐吴，必须凭借长江上游的有利地势。当时吴国有童谣：“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙”。羊祜听后，说：“此必水军有功，但当思应其名者耳”。正逢益州刺史王濬被征召任大司农。羊祜发现王濬的才能可当重任，而王濬的小字又是“阿童”，正应了童谣之言。而当时在西晋朝廷内部，王濬是个有争议的人物。羊祜极力肯定王濬的军事才能，主张济其所欲，充分发挥他的才能。
    羊祜本人也命令部将缮甲训卒，广为戎备。经过七年的练兵和各项物质准备，荆州边界的晋军实力远远超过了吴军，而两年前吴军主帅陆抗病死，吴国境内又因为吴主孙皓的高压统治使各种矛盾日益激化。这表明晋灭吴的条件和时机已经成熟。

    羊祜不失时机的上疏请求伐吴，此疏就是历史上有名的《请伐吴疏》。奏疏得到了司马炎的肯定，却遭到了朝内其他大臣的反对，权臣贾充、荀勖、冯紞等人的态度尤为激烈。他们提出西北地区的鲜卑未定，不应该两线作战。只有度支尚书杜预、中书令张华等少数人赞同。
恰逢晋军在秦、凉屡有败绩，羊祜遂再次上表：“吴平则胡自定，但当速济大功耳。”但还是遭到大部分人的反对，祜叹曰：“天下不如意事十常居七、八。天与不取，岂非更事者恨于后时哉！”