年老，禁不起每日床笫声色，不久染病在床。他病重时让等人进宫侍奉，临死时的杨坚终于看清了这个儿子的真面目，但也晚了。604年7月，他因为病重，卧于长安仁寿宫大宝殿内，杨广认为登上皇位的时机已到，于是迫不及待地写信给杨素，请教怎样处理将要到来的文帝后事。不料送信人误将杨素的回信送给了文帝。文帝读后大怒，此时，宣华夫人衣衫不整地跑进来，哭诉杨广乘她换衣时无耻地调戏她，使文帝更醒悟到受了杨广的蒙骗，拍着床子大骂：“这个畜生如此无礼，怎能担当治国的大任，皇后误了我的大事。”急忙命在旁的大臣柳述、元岩草拟诏书，废黜杨广，重立杨勇为太子。
杨广听说了，赶忙将侍奉杨坚的人全部换掉，与大臣杨素、、宇文述等人乘机发动宫廷政变，带兵包围仁寿宫，赶散宫人，逮捕了柳述、元岩，右庶子张衡怀藏利刃，深入文帝驾前，一举结果了文帝杨坚。杨坚享年六十四岁。
杨坚的谥号是文皇帝，所以后世称他隋文帝，庙号是高祖。
杨坚创下的基业并没有坚持多久，隋朝很快就被历史上最荒淫无道的隋炀帝杨广挥霍掉了。隋朝从建立到灭亡有三十七年，但从589年灭陈开始算，仅仅二十九年。古代三十年算一世，隋朝这一世有两个皇帝在位，不过，还是比要长一些。
中国历史有两个循环很相似：第一个，乱世的、短命的秦、长治久安的汉。第二个，乱世的两晋，短命的隋，长治久安的唐。