一、大战有功声威渐重
刘牢之的父祖均勇武出色，被任命为边郡太守或将军，刘牢之也因勇武而踏人仕途。太元初，谢玄北镇广陵，当时苻坚势力正强，谢玄招募劲勇之士，刘牢之等因骁勇出众而应选。谢玄以刘牢之为参军，领精锐兵众作前锋，百战百胜。苻坚将领句难南侵，谢玄带何谦等抵拒来兵，刘牢之在盱眙获句难辎重，得到运船无数。战后，刘牢之被任命为鹰扬将军、广陵相。
当时车骑将军桓冲攻打襄阳，宣城内史胡彬带兵向寿阳，以为桓冲声援。刘牢之带士卒两千，作为胡彬的后继力量。淮淝之战，苻坚派苻融及骁勇大将张蚝攻陷寿阳，谢玄派胡彬和刘牢之去迎敌。谢玄派刘牢之带精兵五千去抵拒敌军。在距离敌军十里的地方，敌军阻涧列阵。刘牢之率军径直向前冲击，强渡洛涧，敌军崩溃，争相奔渡淮水，杀伤一万余人，收获了敌军所有器械。苻坚在淝水大败，回归长安，其余的力量都龟集在一些小地方。刘牢之又进军去平定谯城（今河南夏邑北），派安丰太守戴宝守卫。不久，刘牢之任龙骧将军、彭城内史，论功被册封为武冈县男，食邑500户。刘牢之又进屯鄄城（今属山东），征讨那些未降服的势力，河南城堡承风归顺的特别多。
后来，地方将领王恭要征讨朝中权臣王国宝，引刘牢之为府司马，领南彭城内史，加辅国将军。但王恭只以行阵武将对待刘牢之，礼遇很薄，刘牢之深怀耻恨。等到王恭举兵，司马元昱派庐江太守高素劝说刘牢之背离王恭，事成以后即其位号，刘牢之答应了他。王恭死后，刘牢之代替他作了都督兖、青、冀、幽、并、徐、扬州及晋陵军事。
刘牢之本是一名小将，一朝取代王恭职位，众情不悦，于是他任用心腹徐谦之等以自强。这时杨俭期、桓玄带兵进逼京师，上表请求诛杀刘牢之。刘牢之带兵驰赴京师，在新亭驻兵，桓玄等受诏退兵，刘牢之还镇京口。
二、屡受利用起事不成
孙恩作乱，攻陷会稽后，刘牢之派遣将领桓宝带兵去援救三吴。到了曲阿，吴郡内史桓谦已放弃郡城而逃，刘牢之便带兵东讨。到吴之后，和卫将军谢琰攻击敌军，屡战屡胜，直到浙江边上。刘牢之进任前将军，都督吴郡诸军事。这时谢琰屯驻乌程，派司马高志去援助刘牢之，刘牢之带众军渡浙江，孙恩畏惧，赶忙逃跑到海上。刘牢之还军之后，孙恩又进入会稽，杀害了谢琰。刘牢之进号镇北将军，都督会稽五郡，带兵东征，派参军刘裕去征讨孙恩，孙恩闻听又有兵来，急忙又逃人海上。不久，孙恩到京口，当时拥有士卒十万、楼船一千。刘牢之派刘裕出兵，刘裕兵众还不足千人，和孙恩大战，竟打败敌军。孙恩闻知刘牢之已还京口，便逃往郁州，结果又被刘敬宣、刘裕兵战败。不久，孙恩死去，刘牢之自此威名大振。