羊祜晋朝南城人，字叔子，泰山郡南城（今魏庄乡南武城）人。祖先世代为官，俸禄高达二千石，到羊祜为第九世，历代都以清廉德行，闻称于世。其祖父羊续为汉南阳太守，父羊道曾任上党太守，生母是蔡邕之女。羊祜十二岁时父亲去世，对叔父羊耽非常恭敬孝顺。
晋武帝要攻灭孙吴，命羊祜都督荆州，镇守南夏襄阳。羊祜以德怀柔远近，深得江汉民心。与吴将陆抗两军对峙，更加勤修德政，对吴人开诚布信，广招吴人归附，来降者想要离去，悉皆听便。羊祜在军中常穿便服，身不披甲胄，侍卫者不过十多个人。
每当与吴国人交兵，战斗中，不采用掩袭的计策。部属将帅有人提议用欺诈计策取胜东吴，羊祜便以醇酒让他饮醉，使他不能在会议时陈说。一次部下从边境抓回两个小孩，一问是东吴边将之子，羊祜立即派人送回。后来吴国将领夏详、邵顗等来投降，被抓的两个小孩的父亲十分感激，也率部来降。
有一次羊祜的军队行经吴国境内，收割谷子作为军粮，按收谷子多少送给绢匹作为抵偿。被吴国将士射伤的野兽逃入晋地，为士兵所获，羊祜命士兵封好送回。于是吴人心悦诚服，称为羊公，而不称名字。
连当时与羊祜边境对峙的吴国主帅陆抗也为之悦服，吴将陆抗曾经害病，羊祜赠他医药，陆抗毫无疑心，把药服下，左右劝谏不可服，陆抗说：“世间那会有毒人的羊叔子呢？”陆抗常对部属说：“羊祜专修仁德，我乃专行暴力，这样下去，不用兵战，人心自然都会归服对方了。”
羊祜五十八岁去世，南州人听说羊祜去世，莫不哀号痛哭，停止营业，街头巷尾哭声相接，孙吴守边将士也为之哭泣，羊祜一生仁德感召人心，竟有如此深厚。襄阳百姓在襄阳县南岘山，建立石碑，逢年过节祭祀不断，来往人士，望见石碑，莫不思慕流泪，因此名叫堕泪碑。