一、累召不就居上能谦
羊祜家世代都任两千石的高官，并且都以清廉有德著称。到羊祜，已历九代。羊祜的祖父羊续，在汉朝任南阳太守；父亲羊衙，任上党太守。羊祜是东汉蔡邕的外孙，晋景献皇后的同母弟。
羊祜12岁丧父，孝行哀思超过常礼，奉事叔父羊耽也十分恭谨。长大后，羊祜博览群书，善做文章，善发议论，每每中肯切要。而且仪度潇洒，身长七尺三寸，须眉秀美。郡将夏侯威认为他不同常人，把兄长夏侯霸的女儿嫁给了他。
羊祜被荐举为上计吏，州官四次征辟他为从事、秀才，五府（古代五种官署的合称，所指不一）也纷纷任命他，他都不肯接受。太原人郭奕见到他后说：“这位就是当今的颜回啊！”夏侯霸投降蜀国，姻亲怕受连累，大都与他家断绝了关系，只有羊祜安慰他的家属，体恤他的亲人，亲近恩礼，愈于常日。
司马昭任大将军，征辟羊祜，羊祜没有应命。于是，朝廷公车征拜羊祜中书侍郎，不久升为给事中、黄门郎。陈留王曹奂即帝位，羊祜被封为关内侯，食邑100户。因为羊祜心中对天子不以为然，所以不愿再做侍从之臣，请求出外。后来改官秘书监。等到建立五等爵制，羊祜受封为钜平子，食邑600户。接着，迁任中领军，负责统率全部宿卫将士，在皇宫当值，把持着军队的核心，兼管内外政事。
代魏称帝（晋武帝），因为羊祜有扶立之功，进号中军将军，加散骑常侍，改封为郡公。羊祜一再辞让，最后由本爵钜平子晋封为侯，设置郎中令，备设九官之职，并授给他的夫人印绶。泰始初年，晋武帝特下诏书，任命羊祜为尚书右仆射、卫将军，给以本营兵。
二、经营江汉增修德信