269年（泰始五年），司马炎除任命大将军卫瓘、司马伷分镇临淄、下邳，加强对孙吴的军事布置以外，又特地调任羊祜为荆州诸军都督，假节，并保留他散骑常侍、卫将军原官不变。 当时，西晋和孙吴各有一个荆州，形成南北对峙局面。西晋的荆州包括今天的陕西、河南的一小部分和湖北北部地区。吴国的荆州则有今天的湖北和湖南的大部分地区。晋吴间的边界线以荆州为最长，所以这里是灭吴战争的关键地区。
    羊祜到任后，发现荆州的形势并不稳固。不但百姓的生活不够安定，就连戍兵的军粮也不充足。于是，羊祜首先把精力放在开发荆州方面。羊祜大量开办学校，兴办教育，安抚百姓，怀来远人。并与吴国人开诚相待，凡投降之人，去留可由自己决定。还禁止拆毁旧官署。当时风俗，官长如果死在官署之中，后继者便说居地不吉，往往拆毁旧府，另行修建。羊祜认为，死生有命，不在居室，命令下属，一律禁止。最主要的是设计使吴国撤掉了对襄阳威胁最大的石城驻军，吴国石城驻军离襄阳七百多里，常常侵扰边境。羊祜深以为患，于是巧用计谋，使吴国撤销了守备。然后羊祜他把军队分作两半，一半执行巡逻戍守的军事任务，一半垦田。当年，全军共垦田八百余顷。羊祜刚来时，军队连一百天的粮食都没有，到后来，粮食积蓄可用十年。 羊祜的这些措施迅速地安定了荆州的社会秩序，增强了军队的战斗力。晋武帝为表彰他的功绩，下令取消江北所有的都督建置，授予羊祜南中郎将的职务，负责指挥汉东江夏地区的全部军队。