羊祜在军中，常穿着轻暖的皮裘，系着宽缓的衣带，不穿铠甲。铃阁之下，应命侍卫的士卒也不过十几个人。并且，喜欢打猎钓鱼，常常因此荒废公务。有一天夜晚，他想出营，军司马徐胤手持柴戟挡住营门说：“将军都督万里，安可轻脱 ！将军之安危，亦国家之安危也。胤今日若死，此门乃开耳”。羊祜正色改容，连连道歉，从此很少外出。
    不久，羊祜又被加封为车骑将军，并受到开府如三司之仪的特殊待遇。羊祜上表固辞：“臣伏闻恩诏，拔臣使同台司。臣自出身以来，适十数年，受任外内，每极显重之任。常以智力不可顿进，恩宠不可久谬，夙夜战悚，以荣为忧。臣闻古人之言，德未为人所服而受高爵，则使才臣不进；功未为人所归而荷厚禄，则使劳臣不劝。今臣身托外戚，事连运会，诫在过宠，不患见遗。而猥降发中之诏，加非次之荣。臣有何功可以堪之，何心可以安之。身辱高位，倾覆寻至，愿守先人弊庐，岂可得哉！违命诚忤天威，曲从即复若此。盖闻古人申于见知，大臣之节，不可则止。臣虽小人，敢缘所蒙，念存斯义。今天下自服化以来，方渐八年，虽侧席求贤，不遗幽贱，然臣不尔推有德，达有功，使圣听知胜臣者多，未达者不少。假令有遗德于版筑之下，有隐才于屠钓之间，而朝议用臣不以为非，臣处之不以为愧，所失岂不大哉！臣忝窃虽久，未若今日兼文武之极宠，等宰辅之高位也。且臣虽所见者狭，据今光禄大夫李憙执节高亮，在公正色；光禄大夫鲁芝洁身寡欲，和而不同；光禄大夫李胤清亮简素，立身在朝，皆服事华发，以礼终始。虽历位外内之宠，不异寒贱之家，而犹未蒙此选，臣更越之，何以塞天下之望，少益日月！是以誓心守节，无苟进之志。今道路行通，方隅多事，乞留前恩，使臣得速还屯。不尔留连，必于外虞有阙。匹夫之志，有不可夺”。但朝廷未同意他的辞让。这一年，羊祜四十九岁。[8]
羊祜在军中，常穿着轻暖的皮裘，系着宽缓的衣带，不穿铠甲。铃阁之下，应命侍卫的士卒也不过十几个人。并且，喜欢打猎钓鱼，常常因此荒废公务。有一天夜晚，他想出营，军司马徐胤手持柴戟挡住营门说：“将军都督万里，安可轻脱 ！将军之安危，亦国家之安危也。胤今日若死，此门乃开耳”。羊祜正色改容，连连道歉，从此很少外出。