赵衰的“衰”通“崔”，赵衰本人是嬴姓，赵氏，字子余。因为赵衰的谥号为成季，所以历史上也将赵衰称作赵成子。赵衰的身世在历史文献的记载上是很混乱的，关键就是大家说不清赵公明、赵夙和赵衰之间的关系，各家有各家的说法。综合了《史记》“夙生共孟，共孟生赵衰”，《左传》“衰，赵夙弟”，《国语》“赵衰，其先君之御戎赵夙之弟也”以及《世本》“公明生共孟及赵夙，夙生成季衰”的说法后，我们得出了赵公明生了两个儿子，大儿子是赵夙，小儿子是赵衰的结论。
中国古代春秋时代，晋国出现了那个时代的第二个春秋霸主，这个人就是晋文公，和第一名的齐恒公齐称为“齐恒晋文”。辅佐这位春秋霸主成就霸业的一批忠臣能者中有一个叫做赵衰的人，晋文公少年时期就和赵衰认识了，两个人还成为了好朋友。赵衰出自晋国的一个大的家族赵氏，是造父的后代。赵衰的父亲是赵公明，是赵氏第十五代传人，第十六代传人是赵夙，第十七待传人是赵共孟（赵夙的儿子），第十八代传人就是赵衰。
赵衰的大哥赵夙是晋献公时期的臣子，晋献公还派了赵夙领兵攻打霍、魏、耿三国，消灭了这些国家。耿邑就是晋献公赏赐给赵夙的封地，赵夙死后便由儿子赵共孟继承赵氏家族以及封地。赵衰在父亲死后并没能继承赵氏的家业，所以他很惆怅自己将来到底要侍奉谁。当时还是晋献公时代，晋献公又有三个儿子申生、重耳以及夷吾，赵衰很是纠结。为此，赵衰还专门去占卜了，他不知道该选择侍奉现任的晋献公还是晋献公的儿子们，结果占卜下来，都是不吉利的预言。他不气馁，继续占卜晋献公的三位公子，当占卜到公子重耳的时候，占卜显示大吉，于是赵衰便决定了追随重耳。这种说法也只是大家相传来的，也不知道是否属实，不过，赵衰处于没有事业的“空档期”，会对将来产生惆怅和焦急也是可以理解的。
既然决定了要跟随重耳，赵衰就是下定了决心的，不会背叛重耳，会一直忠于重耳。当重耳被继母和父亲晋献公迫害的时候，赵衰作为重耳的师友，义无反顾的抛下了家族中的一切，跟着重耳踏上了危机重重的逃亡之路。重耳是公子，是赵衰的主子，因此逃亡路上重耳还是相对比较轻松的，只负责“活着”就好了。赵衰和狐偃等人就要负责驾马车、找食物、挣钱、找路这样繁琐的工作，赵衰身上带着大家的粮食，若是和重耳走散了，赵衰自己再饿，也不会动包袱里的食物，他会一直给重耳留着。面对强盗、面对刺客，赵衰都站在了重耳的前面。重耳接受了赵衰的“照顾”，他心里无比感激赵衰，还将翟国献给自己的女子分了一个给赵衰以示好。
重耳离开晋国以后，晋国的国君就有不同的三任，重耳的父亲晋献公、重耳的弟弟夷吾晋惠公、重耳的侄子晋怀公。这三个国君一个比一个厌恶重耳，都想要杀掉重耳。重耳离开晋国，为了躲避他们的迫害，在外流亡将近整整二十年。直到秦国秦穆公答应帮助重耳回国夺位，重耳便开始了夺权夺位的行动。有了秦穆公的帮助，重耳赶走并逼死了侄子晋怀公，自己坐上了晋国国君的位置。重耳继位以后是为晋文公，赵衰则被封为原大夫，住在原城。赵衰辅佐晋文公，在周襄王在郑国避难的时候，提议晋文公派兵护送周襄王回到周王都。除了为晋文公出谋划策以外，赵衰还不求封赏，反而向晋文公推荐合适的人才。赵衰在晋文公心中的分量比亲舅舅狐偃还要重，据说晋文公执政晚期，和狐偃之间发生了间隙。在赵衰死后，谥号为“成季”，因此，赵衰也被人们称作赵成子。