蒙古大军征战，几十万大军的粮秣，需要近百万的民工运输，当时的运输耗费极大。因此，在开战之前，伯颜便和河渠副使郭守敬进行了一次大规模的考察，他们 考察了河北、山东的河道，考察了隋唐的运河，成功地利用隋唐旧有河道运送给养，不仅节约了运力，提供了运能，而且也满足了前线将十的后勤供应。
至元十三年（1276年），丞相伯颜攻下南宋首都临安（今杭州）后，对江南水路四通八达的状况更是深有感触。他回大都后，即向元世祖忽必烈建议： 今南北混一，宜穿凿河渠，令四海之水相通，远方朝贡京师者，由此致达，诚国家永久之利。
对于伯颜的建议，忽必烈非常重视。他知道剿灭南宋，得益于优良的水路运输，才使得蒙古大军长驱直入。如今，四海统一，万民来朝，大都作为首都，需要源源 不断的粮食，而这单依靠陆路交通是远远不够的。单粮食一项，近百万的入口就需要从南方调运两百万石粮食。虽然现在财政比较紧张，但一日不解决这个问题，京 城将一日不得安宁。于是，他下定决心，一定要构筑一条沟通南北的水上通道！
郭守敬是刘秉忠的弟子，由张文谦推荐上来的。中统元年 （1262年）春，他在当时新建的京城上都（今内蒙古多伦附近）诏见了郭守敬。这次诏见，郭守敬向他提出了六项水利工程计划，丰富的第一手资料、渊博的知 识、科学的设计使他对这个博学的汉人深为赞许。他还记得，当时他就任命郭守敬为提举诸路河渠，主持掌管全国修河开渠之事，并任命张文谦任河渠副使，帮助并 保障郭守敬的后勤供应。至元元年（1264年）初夏，忽必烈汗派郭守敬往西夏一带视察黄河河渠水道。到了那里他立即着手整顿。有的地方疏通旧渠，有的地方 开辟新渠。郭守敬带领工匠、民夫日夜赶工，以最快的速度修复了黄河中上游许多被破坏了的渠道，不但农业生产很快得到恢复，而且这里还成了江北粮仓，为忽必 烈灭亡南宋提供了不竭的财源。如今，时间已经过去二十多年了，当年的提举诸路河渠使早已成为都水监、工部郎中。
忽必烈微笑着对郭守敬说： 自你掌管都水监，掌管河渠、堤防、桥梁、闸坝等的修治工程以来，全国疏浚河道，开挖水渠，兴修水利，劳苦功高。最近，大臣都上书要求开凿运河，利用水道运粮，以节减运力，提高运量节约成本，我想听听休有什么好的建议？
郭守敬回答： 臣下以为，此举功在当今，利在千秋之事。如今我大都的粮食，约十之七八来自于江南，而江浙一带的漕粮沿着江南运河北上人淮河，在淮安日淮 河转人黄河之后溯流至中滦镇（今河南封丘西南约30里）；在这里卸船装车，转为陆路运输，到达淇门（今河南浚县西南）；再装船御河（今卫河），运至直沽 （今天津），沿白沙河至通州；最后陆运至大都。如此这般水陆相交，反复装卸，费时又费力，况且这一路虽以河道为主，但河道迂回曲折，运行不畅。因而，尽快 在原有的这衅运河基础上去弯取直，开凿直穿山东而取直北上的运河河道，使南北垂现直航，是当前亟待解决的大事。况且，运河一旦完成，不但减少了运费开支， 更重要的是能使子孙万代受益！
忽必烈知道，一旦运河沟通南北，那将成为沟通全国的经济命脉，不但有巨大的经济价值，在战略上也有不 可低估的作用。于是，忽必烈将这项艰巨的任务交给了郭守敬。接受任务以后，郭守敬便马不停蹄搞起了运河开凿的调研。他一路翻山越岭，蹬水跃渠，遍访地方群 众，走访沿途船工，掌握了大量的第一手资料。在山东境内，看到满路的运粮民工，他更是深有感触。回到了衙门，他立刻与各位水利专家商量，确定运河开挖方 案。
马之贞认为，开挖运河，重点在山东，而山东要开挖运河，只需把黄河和卫河水道沟通即可。要沟通两河，他建议应开凿新河。此议一 提，立即引起郭守敬的重视。方案很快就拟订出来，并报请忽必烈审批这个方案。这个方案的内容是将隋朝完成的、呈扇面展开的大运河，裁弯取直：北端自大都起 至通州，保留永济渠河北段，后进入山东德州，再南下那城、临清、济宁，进入永济渠、山阳渠，经扬州越过长江与江南连通，直达运河最南端的杭州。航路缩短 2000里。元世祖欣然同意。
至元十七年（1280年），工程拉开了序幕。直通大都的大运河并不在一个水平面上，沿途地势兰起三伏， 最高处是山东境内的南旺镇，人们将这里称为 南旺水脊 。然而，汶水向西折而东流，泗水折而南流，要使运河有充足的水源，必须要对两河加以改造，郭守敬经 过实地考察，决定利用东平、马场、南旺等湖泊作为蓄水的水库，用来调节运河水量，同时利用这些湖泊为天然航道。湖畔之间阻隔不通的地段，挖掘人工河道以相 连接；然后，北引汶水作为水源；在今宁阳的冈城（汶水与洗水分流处）筑坝建斗门，阻遏波水，使汶水南流入洗水，到任城（今属济宁市）汇人马场湖；再将此水 分流南北，南与泅水会合流入淮河，北由任城开河道至须城（今属山东东平）的安山，与大清河相接，以人于海。此方案需要开掘的河道从济宁任城开始到须域安 山，全长约百里，称济州河。
丞相伯颜将此施工方案奏报给元世祖忽必烈。元世祖在收到奏折的当日就批准了这个方案。按郭守敬规划的方案，在兵部尚书奥鲁赤的指挥下，在刘都水的具体监督下，数十万河夫星夜奋战在挖河工地上，工程进展很快。
整个河道，南起济州（今山东济宁），北达须城（今山东系平）安山镇，全长150余里。济州河开通后，输运的物资便可以先由大清河运至利津，从那里入渤 海，出海后沿海转运至直沽，这样比原来经河南走御河大为便捷。可好景不长，连接济州河段的重要环节 大清河，其入海口泥沙淤积，再加上海上风高浪大，这 样便不得不废弃大清河航道，船只通过济州河进入大清河后，只能航行到东阿（今山东东阿以南），再陆行至临清入卫河抵达通州。如此下来，虽然只有200多 里，但需要常年役使13200多民户来运粮，特别是茌平一段，地势低平，每逢夏秋雨季，便会泥泞不堪，车马阻滞、输运艰难，民工苦不堪言。对此，对此许多 大臣纷纷上书，奏请朝廷开凿一条连接御河与济州河的运河。