杨广当了十四年皇帝，几乎全部是在扬州度过的，是中国历史上第一个在南方住比较长时间的皇帝。因此民间就有传闻，说他修运河一个重要原因就想上那玩儿去。更有甚者，说他下扬州是看琼花的。据说他有个妹妹叫杨琼，和美丽，却被杨广看上，没想到杨琼誓死不从，最后自尽。杨广怕丑事外传，干脆将妹妹的尸体运到扬州安葬。后来，在杨琼的墓地，长出了一株奇异的花卉，老百姓从来没有见过这种花，就称它为“琼花”。杨广听说后就跑来看，可是花朵却迅速凋谢了。杨广大怒，用剑砍树。在杨广死后第二年，琼花老根上又长出了新枝。
被公认描写扬州琼花第一人的是宋代诗人王禹，他于宋太宗至道二年往扬州当知府的，离杨广死亡的大业十四年已有378年了，真相读者们自己判断了。
实际上，杨广是扬州，还是沟通大隋朝南北问题为主。
大隋建国，都长安，当时的扬州还叫江都，即现在江苏省扬州市辖下的江都市。隋大业元年，杨坚将江都改为扬州，管辖范围包括今江苏省淮南、江北地区及镇江、丹阳、句容，安徽省天长、全椒、滁州等市县地。
当时，江南等地刚从陈朝“划归”大隋没多久，为了安抚江南，加强对江南控制，杨广才频繁下江南。如杨广纳陈后主第六女陈B为贵人，并特赦被流放的陈皇室子弟，允许回京师。杨广还带着大批中原学者随行，如大文豪薛道衡，博学通识的牛弘等，还有大批僧尼道士，在江都宣传佛法。此外，杨广还重用一批江南将领，如江都名将来护儿，大将沈光等。
除了努力消除南北文化差异外，杨广下扬州还从军事上考量。
为三征高句丽，杨广必须拉拢和联络一切力量，需要从富庶的江南大量征兵。为了让江南人“参军”，也为了威服四海，巩固后方，笼络江南等一系列好的效果，杨广才巡游江都。
第三，杨广下扬州也是政治上的需要。三次游江都，除了威慑江南，也要臣服外邦，抚慰南方少数民族。为此，杨广修建了规模宏伟豪华的江都宫。在几年的时间里，大隋威望迅速远播四海。