杨玄感，形貌酷肖其父杨素，雄伟健壮，蓄得一部好须髯。然他幼时却很愚钝，周围人都认为他有些痴呆，只有杨素不这么认为，对亲戚们说： 此儿不痴。 知子莫若父，杨素果然说中，到杨玄感长大后，竟是文武双全，喜读书，善骑射。
生在官宦人家的子孙，不用担心前程，因有恩荫之法可让他们轻易地获取官位。杨素功大官也大，杨玄感靠着恩荫走进了官场。这可能是历史上少见的奇事：靠着 父亲恩荫的杨玄感，居然和父亲同样是二品，上朝时站在一个队列。隋文帝这样做，自然是嘉奖杨素的一个方式，可上朝时看着看着，觉得父子同站一列，有失体 统，于是当庭宣布将杨玄感降了一等。此时，杨玄感不以为耻，反以为荣，拜谢道： 没想到陛下这么宠臣，竟然在宫廷中让臣尽了孝心。 这话，巧妙地挠到了隋 文帝的痒处，给自己美化了形象。
杨玄感第一次当地方官，是当郢州（今湖北钟祥）刺史。他虽是初出茅庐，却是少有的老到和手段，到任后 分布耳目，打听当地官吏的行状，无论是清廉还是贪赃，其能力如何，都弄得清清楚楚，然后找机会一一予以当场公布。从而使得官吏们不敢有半点欺隐，在一定程 度上，纯洁了郢州的官场。对此，当地民众相当敬佩，纷纷称赞他的才干。
后转宋州刺史，杨素过世后，杨玄感被调入中央，拜鸿胪卿，封楚国公，迁礼部尚书。
官居要职的杨玄感，有一点也很像他的父亲，为人骄矜，但偏爱文学，遂使天下名士竞相来往于他的门下。
文学只是杨玄感的业余爱好，他真正的兴趣仍在政治。他从事政治，可谓得天独厚，由于父亲的功勋，杨家名满天下；由于父亲既做过将帅，又做过宰相，所以无 论是武的系统，还是文的系统，在朝廷上都有一大批追随者。这些条件，本是杨玄感继续飞黄腾达的资本。可是，在混乱的朝廷氛围中，隋炀帝因办事不顺手，对周 围重要人物的猜忌心越来越重。在杨素病卒不久，隋炀帝就暗中说过： 杨素即使不死，必有一日全家诛灭！ 此话传出，成为杨玄感的一块大心病。他虽官高爵 重，看似体面得很，其实，内心一直恐慌不已，害怕大祸临头。他不甘心坐以待毙，打算趁着朝政紊乱，准备发动政变：废除隋炀帝，拥立隋文帝第三子杨俊之子秦 王杨浩。在跟随隋炀帝征伐吐谷浑时，因部队发生混乱，他考虑下手，偷袭隋炀帝的行宫。但是这行动被他的叔父杨慎制止了，理由是时机尚未成熟。
既然时机尚未成熟，杨玄感调整了计划，积极投入隋炀帝的权力圈子中，跻身于军事最高领导层，在军队中建立他的威信，在等待时机的过程中，为日后行事打下 坚实的基础。在兵部尚书段文振的帮助下，他被隋炀帝接受了，并得到了这样的赞语： 将门必有将，相门必有相，此言不虚。 由是，赏物、礼遇、权柄，令人羡 慕地加到了他的身上。
时机终于降临。这个时机，包含着两个方面： 一是隋炀帝第二次征高丽，后方空虚；二是百姓苦于劳役，天下已出现 乱象。 时杨玄感被委以在黎阳督运粮饷，他故意拖延，希冀在前方的军队因缺少粮饷而削弱战斗力，直至被高丽军击败。隋炀帝派人来催，他的答复是： 漕运的 水路已被盗贼把握，粮道难以为继。
等杨玄感从前线秘密召来其弟杨玄纵等人，便正式宣布起兵。为避免直接针对隋炀帝而树敌过多，他用 了贼喊捉贼的手段，宣称带领水军的来护儿在东莱谋反，他奉密诏讨伐来护儿。由此，他带兵进入黎阳县城，关了城门大索男夫，以为壮丁；按照隋文帝时代的样 式，开府置官；传移文书给周围郡县，命令立即会兵于黎阳。
谋士李密为杨玄感出了上中下三策：上策是兵进东北，扼住隋炀帝的归路，其粮饷断绝，复被高句丽所迫，可不战而擒；中策是西取长安，据险而守，徐图天下；下策是以精锐部队，袭击洛阳，以号令四方。
杨玄感求成心切，采取了下策。他以为拿下东都洛阳，即可取得政治象征。他挥师东向，在修武县渡河遇阻后，折道汲郡渡河。一路上，来从军者数不胜数，到达 洛阳城上春门外，已众至十万多。洛阳地区的民众将杨玄感当做救星，夹道纷纷献上牛酒，以示欢迎。杨玄感认定人心向己，每每誓众说： 我身为上柱国，家积巨 万金，至于富贵，已无所求。今不顾破家灭族，只是为天下解倒悬之急，救黎民之命！ 这铮铮誓言，愈发打动了天下受苦受难百姓的心，每日来军营投效者，竟达 数千人之多。
在外围打了些胜仗后，杨玄感将洛阳城团团围住。负责东都城防的民部尚书樊子盖，严明纪律，申颁法令，组织了守城战。双方 僵持不下，而援军中的贵族子弟，如韩擒虎之子韩世咢、观王杨雄子杨恭道、虞世基子虞柔、来护儿子来渊、裴蕴子裴爽等四十多人，皆向杨玄感投降。杨玄感甚 喜，以为赢得了政治优势，立即将他们全部委以重任。
洛阳告急，刑部尚书卫玄率众数万，从关中驰援。卫玄出二万人挑战，杨玄感佯败而 退，卫玄实施追击，不料中了伏兵，前军尽数战殁。几天后，双方再战，兵锋刚一接触，杨玄感让部下大叫： 官军已得杨玄感！ 卫玄军稍一松劲，杨玄感亲领数 千骑兵冲锋，冲得对方大溃，俘虏了八千人。
杨玄感不是个在后面指挥的人物，他力大无比，且骁勇善战，每战都亲持长矛，身先士卒，呼喊叱咤，所当者莫不惊魂失魄，不能抵挡。由此，军中将他比作项羽。他不仅善战，且擅长抚驭部队，将士感激，以死相效，从而战无不胜。
卫玄数败，加上粮食不继，情急之下，驱众与杨玄感决战。一日之间，交锋了数十次。双方战败血流成河，尸体狼藉，忽然，杨玄感之弟杨玄挺阵亡，杨玄感军才 稍微退却。在城上观战的樊子盖，趁机开了城门放出人马，杀了杨军数百人。从整个战局来说，杨玄感占了些上风，但是他不能彻底打开僵局，对东都还是望 城 莫及。
就在此时，放弃了高丽战场的隋炀帝，命令武贲郎将陈棱进攻杨玄感的根据地 黎阳；武卫将军屈突通屯兵河阳，借机渡河向洛阳进发；左翊卫大将军宇文述发兵跟进；右骁卫大将军来护儿从另一路进援东都。