此后，杨坚的势力得到不断壮大和发展。周之宗室与鲜卑老臣，以及汉族官员久与宇文氏有着非常亲密的关系，对此非常不服气，于是纷纷起兵反抗。其中，相州 总管尉迟迥声势最大。于是，杨坚派名将韦孝宽等出击，部队到了武陟，与敌军隔沁水为阵，两军对阵，都无法前进。杨坚因为各个将领统一指挥，害怕发生什么变 故，于是想派自己的心腹前往监军。
刚开始的时候，他先叫少内史崔仲方去，崔仲方以父亲在山东为借口不去。又叫刘昉、郑译去，刘昉说他 没有带兵打过仗，郑译说他母亲年事已高，不便远行。就在杨坚苦于没人愿意去的时候，高颎自请前往，杨坚就非常高兴地答应了。高颎奉命以后，连母亲也来不及 辞别，便立即出发。他到了前线，在沁水上架桥，军队过后，便下令焚桥，以断绝士兵还想返回来的念头。于是韦孝宽率军奋击，大破敌军，敌将尉迟惇单骑逃走。 韦孝宽乘胜追击，追至邺下，尉迟迥用尽全力拒战，孝宽等军因为不利而退却。于是高颎与大将宇文忻、李询等谋划设计将其攻破，就这样才平定了尉迟迥的叛变。
这场战役高颎打得相当漂亮，于是他更加得到杨坚的信任，并晋位柱国，改封义宁县公，迁相府司马。杨坚称帝后，还以高颎为尚书左仆射，兼纳言，晋封渤海郡 公，又拜左领军大将军，一时贵宠，在朝廷中没有一个人比得上他在杨坚心目中的地位。此后近二十年的时间里，高颎辅佐文帝，在政治、经济、军事各个方面作出 了非常重要的贡献，可以说，杨坚能够成就伟业全倚仗他这样的忠臣的功劳。
因为高颎有着杰出的军事才能。开皇二年，他还参与了讨伐陈的 战役。后来因为陈宣帝去世，高颎 以礼不伐丧 ，奏请班师。于是，隋文帝向高颎询问取陈的策略，高颎建议： 每值江南秋收之际，微征士马，声言掩袭，彼必 屯兵御守，足得废其农时。既收之后，密遣行人，因风纵火，烧其储积，由是陈人益敝。
在高颎的建议下，杨坚于开皇九年，派隋军大举伐 陈。晋王杨广等为行军元帅，高颎为元帅长史。等到陈叔宝被俘，高颎先入建康，杨广派人驰告，命令留下陈叔宝宠妃张丽华。但是高颎阻止说： 武王灭殷，诛斩 妲己，今平陈国，岂可留丽华？ 他出于忠心，恐丽华惑主，便把她杀了。
但是杨广知道他杀了张丽华后，立刻脸色大变说： 昔人云： 无德不报 ，我必有以报高公矣！ 于是，杨广从此对高颎怀恨在心。高颎又与元帅府记室裴矩收图籍，封府库，没有收一点钱财。
隋灭陈的战争结束了东晋以来南北纷争的局面，实现了全国的统一。因为高颎有着非常大的功劳加封上柱国，晋爵齐国公，赐物九千段。隋文帝还慰劳他说： 公 伐陈后，人言公反，朕已斩之。君臣道合，非青蝇所间也。 可见，他在隋文帝心中的地位非同一般人。所以，此后隋文帝对高颎更加信任和倚重。高颎深避权势， 一再辞让官爵。文帝下诏说： 公识鉴通远，器略优深，出参戒律，廓清淮海，人司禁旅，实委心腹。自朕受命，常典机衡，竭诚陈力，心迹俱尽。此则天降良辅， 翊赞朕躬，幸无词费也。 这番话充分表示了他们君臣的关系不是一般的好。
开皇十年，文帝前往晋阳，让高颎居守京都。等到隋文帝回京后，还赐给他缣五千匹，又赐行宫一所以为庄舍。高颎的妻子卧病，文帝还常常派人询问，高颎家的人顿时络绎不绝。高颎的儿子高表仁娶太子杨勇的女儿为妻，与皇室结亲，赏赐多得数不过来。
尽管这样一个忠诚不二的大臣，也没有得到隋文帝长久的信任。这与皇室内部的斗争有着密切关系。隋文帝的宠姬尉迟氏被独孤皇后杀了，文帝生气地出走山谷，高颎追上，拦住他苦苦劝说： 陛下岂以一妇人而轻天下？
独孤皇后本以高颎是她父亲的家客，跟他十分亲近，当她听到高颎说她是一妇人，非常气愤。当时文帝夫妇打算废掉太子杨勇，另立晋王杨广为太子。高颎又出来 大力反对，由此独孤皇后就有了把他除掉的想法。高颎的妻子死后，独孤皇后对文帝说： 高仆射老矣，而丧夫人，陛下何能不为之娶！ 文帝把这话告诉了高颎。 高颎垂泪感激地说： 臣今已老，退朝之后，唯斋居读佛经而已。虽陛下垂哀之深，至于纳室，非臣所愿。 文帝听他这么说也就算了。
高颎 的妻子去世没多长时间，他的爱妾生了个男孩，文帝得知很为他高兴。皇后却非常地郁闷。文帝问她是什么原因，独孤皇后说： 陛下当复信高颎吗？始陛下欲为颎 娶，颎心存爱妾，面欺陛下。今其诈已见，陛下安得信之！ 文帝听了皇后的话，觉得确实是这个道理，由此开始对高颎感到强烈的不满。
此 后，高颎还极力阻挠隋文帝征伐高丽，结果师出无功，独孤皇后便对文帝说： 颎初不欲行，陛下强遣之，妾固知其无功矣！ 隋文帝又以元帅汉王杨谅年少，专委 军事于高颎。 颎以任寄隆重，每怀至公，无自疑之意，谅所言多不用。 杨谅因此对高颎很不满意，回京后，便向皇后哭诉说： 儿幸免高颎所杀。 文帝听了这 话，很是对高颎怀疑，觉得他图谋不轨。
开皇十九年，凉州总管王世积因事被杀，审讯时有宫中秘事，说是从高颎处得知，文帝极为惊异，高 颎因此被问罪。当时上柱国贺若弼、吴州总管宇文効、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等都证明高颎无罪，隋文帝看到这么多人为高颎求情，更加 恼怒，一气之下把他们统统拘押起来，从此朝臣没有再敢为高颎说话的了。也就是在这一年，高颎被罢官。
不久后，隋文帝在秦王杨俊府中召高颎来一起喝酒。高颎当时非常感叹，悲不自胜，左右的人都为他流泪。文帝气愤地对高颎说： 朕不负公，公自负也。 并指责高颎 不可以身要君，自云第一也 。
但是，没想到，紧接着高颎的国令上疏揭发他，说高颎的儿子高表仁对高颎说： 司马仲达当初托疾不朝，遂有天下。公今遇此，焉知非福！ 文帝听后不加调查 就大怒，把高颎囚禁起来加以审讯。这时宪司又奏称：沙门真觉曾对高颎说： 明年国有大丧。 女尼令晖也说： 十七、十八年，皇帝有大厄，十九年不可过。 文帝听了更加恼火，当着群臣说： 帝王岂可力求！孔子以大圣之才，作法垂世，宁不欲大位邪？天命不可耳！顾与子言，自比晋帝，此何心乎？ 这时，居然有人 请隋文帝斩了高颎，但是隋文帝没有照做，而是把高颎削职为民。
开皇二十年，在杨素、杨广等的密谋和策划下，太子杨勇被废，杨广立为太 子。又过了四年，杨广登基，就是隋炀帝。高颎被起用为太常。当时突厥启民可汗将入朝，炀帝要以富乐相夸，下诏征集周、齐乐家子弟及天下散乐。高颎上奏拒绝 说： 此乐久废，今若征之，恐无识之徒弃本逐末，递相教习。 炀帝听了非常不高兴。
高颎对太常丞李懿说： 周天子以好乐而亡，殷鉴不遥，安可复尔。 高颎又因炀帝赐予启民可汗礼遇过厚，对太府卿何稠说： 此虏颇知中国虚实、山川险易，恐为后患。 还曾对观王杨雄说： 近来朝廷殊无纲纪。
世上没有不透风的墙，没过多久，就有人把这些话告诉了炀帝，炀帝认为高颎诽谤朝政，便下令把他杀了。当时高颎六十七岁。