羊祜因有"佐命之勋"，被晋武帝封为郡公，邑三千户，但羊祜坚决不受封赏。后来，晋武帝割奉山郡的五个县为南城郡，封羊祜为南城侯，与郡公同等地位，羊祜还是"固执不受"。羊祜认为官职荣誉与责任使命是一体两面的，地位越高，责任越大，时常以荣为忧。当晋武帝加封羊祜为车骑将军，让他可以自开幕府、自选幕僚、享受与三公（司空、司马、司徒）同等待遇时，他上表坚决辞让说："品德不为世人信服而被赐予爵位，会使臣子失去追求更高节操的动力；功劳没有实至名归而被授予高官厚禄，则会使臣子丧失博取功名的壮志。我羊祜有何功劳让陛下厚爱，这让我情何以堪、心何以安？"
羊祜说："陛下诚心求贤，不论贵贱，然而，臣还是不能多举荐有品德有功劳的能臣，使陛下知道德才胜过臣的人多、不如臣的人少。假如有高德的人被遗落在市井之间，有贤才的人隐居在江湖之内，而我朝廷却不以嘉奖臣为过错，臣受嘉奖而不觉得惭愧，那问题难道不是很严重吗？"羊祜推荐高风亮节、公私分明的李喜，洁身自好、和而不同的鲁芝，勤俭节约、一丝不苟的李撤，分别担任晋武帝新加给自己的官职。
晋武帝最终并没有接受羊祜"让贤"的请求。公元277年，吴夏口都督孙慎袭扰西晋，掠夺弋阳、江夏等地上千户人口后班师回营。晋武帝派人责问羊祜为何不追讨吴军。羊祜回答说："江夏距离襄阳八百余里，等知道吴军动向时已经过去了一整天时间，派步卒长途跋涉施救不及。明知不可救而兴师动众，只为了做做样子免去自己的责任，这不是我会做的事情。"时人赞誉羊祜"执德清劭，忠亮纯茂""志存公家，以死勤事"。
羊祜不贪图富贵、以荣为忧、志存公家的精神。不想当将军的士兵不是好士兵，贤臣要知道进取之心，但更要明白，身为贤臣需要更高的品行修养和更高的贤臣能力作为保证。贤臣要常怀对权力的敬畏之心，深知"德不称其位，其殃必大；才不称其位，其祸必烈"的古训，不断提升自己的德行才华，补齐品德能力不足的短板，使之与自己担任的职位相匹配。羊祜宁可担失职之名被问责也不弄虚作假、因私废公的坦荡品格这才是贤臣应有的本色。
