公元277年（咸宁三年），晋武帝下诏封羊祜为南城侯，设置相的官职，与郡公同级。羊祜坚辞不受，帝许之。
    羊祜每逢晋升，都十分诚恳的退让，因此名德远播，朝野尊仰，都以为他应该居于宰辅之位。晋武帝当时正有兼并之志，要依仗羊祜来主持东南的局面，所以搁置了请他入相之议。

    同年冬十二月，吴夏口都督孙慎侵入西晋边界，掠走弋阳、江夏等地上千家人口。羊祜没有派兵进行追击。事后，晋武帝派人追查原因，并打算移徙荆州的治所。羊祜说：“江夏去襄阳八百里，比知贼问，贼去亦已经日矣。步军方往，安能救之哉！劳师以免责，恐非事宜也。昔魏武帝置都督，类皆与州相近，以兵势好合恶离。疆埸之间，一彼一此，慎守而已，古之善教也。若辄徙州，贼出无常，亦未知州之所宜据也。”使者不能诘。
    公元278年（咸宁四年）八月，羊祜染病，请求入朝。返回洛阳正逢景献皇后羊徽瑜去世，羊祜十分悲痛，病情更加严重。晋武帝下诏，命他抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜则再一次向司马炎陈述了伐吴的主张。[21]后来羊祜病重不能入朝，晋武帝专门派中书令张华前去咨询方略，并要求羊祜带病伐吴，羊祜婉言拒绝。
    同年十一月羊祜病逝，享年五十八岁，并在临终前举荐杜预自代。

    羊祜死后，举天皆哀。晋武帝亲着丧服痛哭，时值寒冬，武帝的泪水流到鬓须上都结成了冰，追赠羊祜为侍中、太傅，持节如故。
    荆州百姓在集市之日闻之羊祜的死讯，罢市痛哭，街巷悲声相属，连绵不断；吴国守边将士也为之落泪。可惜羊祜无子，以兄发子篇奉祜嗣。
    荆州人为了避羊祜的名讳，把房屋的“户”都改叫为“门” ，另把户曹也改为辞曹。
    晋灭吴的战争结束了汉末以来长期的分裂割据状态，使中国重归一统。羊祜虽然没有亲自参加这次战争，但他为规划、准备这场战争作出了不可磨灭的贡献。
    羊祜死后二年，杜预按羊祜生前的军事部署一举灭吴，完成了统一大业，当满朝文武欢聚庆贺的时候，武帝手举酒杯，流着眼泪说：“此羊太傅之功也！”。
    羊祜生前有很多著述，有名的有《晋书·羊祜传》记载的《老子传》和《请伐吴疏》，另外他还受命修撰《晋礼》、《晋律》，对晋朝典制创立多有贡献。