高士廉早年曾是隋朝的治礼郎，因受斛斯政牵连，被贬为朱鸢主簿，被交趾太守丘和委任为司法书佐。武德五年，高士廉归唐，被任命为雍州治中，后协助李世民发动玄武门之变，升任侍中，封义兴郡公。贞观五年，高士廉任吏部尚书，进封许国公。后奉命编撰《氏族志》，加封同中书门下三品。贞观十二年、，改封申国公，世袭申州刺史，不久又升任尚书右仆射。贞观十九年（645年），高士廉任太子太傅，辅佐皇太子监国。贞观二十一年，高士廉病逝，追赠司徒、并州都督，谥号文献，陪葬昭陵，后又追赠太尉。高士廉年轻时很有器量，对文史典籍也有所涉猎，与司隶大夫薛道衡、起居舍人崔祖浚是忘年之交，因此得到公卿的赞许。
但他认为自己是北齐宗室，不宜广交名流，于是隐居在终南山，闭门谢客。隋炀帝大业年间，高士廉出任治礼郎。（大业五年），高士廉因妹夫长孙晟病逝，便将妹妹高氏接回家中，并厚待外甥长孙无忌、甥女长孙氏。后来，高士廉发现李渊次子李世民才华出众，便将甥女长孙氏嫁给他，这就是后来的文德皇后。（大业九年），兵部尚书斛斯政逃奔高句丽。高士廉因与斛斯政有交往，受到牵连，被贬为朱鸢县主簿。高士廉事母至孝，因岭南地区瘴疠严重，不能带母亲同行，便将妻子鲜于氏留下，代自己奉养母亲。他又想到妹妹没有着落，就卖掉大住宅，买了小住宅安顿妹妹，并把剩下的钱分给母亲和妹妹，自己轻装上路。
当时，天下大乱，朝廷诏令难以到达岭南，交趾太守丘和便委任高士廉为司法书佐。（武德元年），钦州俚帅宁长真率军进攻交趾。丘和打算开城投降，高士廉劝道：宁长真兵马虽多，但孤军深入，肯定坚持不了多久。再说城中兵力足以抵御敌军，为什么要投降他呢？丘和于是任命他为行军司马，让他迎击宁长真。宁长真大败，只身逃脱，军队全部投降。后来，高士廉随丘和依附萧铣。
（武德四年），丘和、高士廉前往江陵（今湖北荆州）朝见萧铣，途中听闻萧铣被唐军主帅李孝恭击败，便转而投降李孝恭。（武德五年），高士廉与丘和奉表归唐，被任命为雍州治中。当时，李世民正担任雍州牧，因高士廉是自己妻子的舅舅，而且素有声望，对他非常器重。（武德九年），李世民与太子李建成矛盾加剧，高士廉与长孙无忌、侯君集等人日夜劝谏李世民，欲诛杀李建成与齐王李元吉。后来，高士廉释放在押囚犯，发给他们武器，并与他们赶到芳林门，配合李世民发动玄武门之变。李世民被立为太子后，任命高士廉为太子右庶子。
高士廉去世后，唐太宗欲到高府哭灵。房玄龄极力劝谏，太宗道：高公与我并非只有君臣关系，还有故旧、姻亲的关系，岂能听说他的噩耗而不去哭灵呢？你不必多说！说完带领身边的人从兴安门出宫。长孙无忌正在高府灵堂，听说太宗要来，出门拦住御马，劝谏道：陛下正在服用丹药，不能哭丧，为什么不为宗庙社稷考虑而自珍自重呢！而且舅舅临终遗言，不愿因自己的死，而让陛下屈驾前来。太宗不听。长孙无忌跪在道中，流着眼泪执意谏阻，太宗这才返回东苑，望南痛哭。