旧陈的中心地带吴会地区发生过大规模的叛乱，隋高祖文帝经两年用兵才平定了江南的叛乱，但南方并未因此而平静，开凿大运河可以加强政府对江南地区的控制。与此同时，大运河的开凿也可以解决军粮运输问题，便于政府应对北方少数民族的威胁。
隋朝开凿运河工程，耗时较短、规模空前。公元584年，开凿了广通渠。公元587年在古邗沟的基础上，开凿了山阳渎。公元605年，开凿了通济渠。通济渠工程西段自今洛阳西郊引谷、洛二水入黄河，东段自荥阳汜水镇东北引黄河水，循汴水（原淮河支流）。经商丘、宿县、泗县入淮通济渠，又名汴渠，是漕运的干道。同年又进一步疏浚了山阳渎。
公元608年，开凿永济渠，引黄河支流沁水入今卫河至天津，继溯永定河通今北京。公元610年，开凿贯穿江南河，由今镇江引江水经无锡、苏州、嘉兴至杭州通钱塘江。至此，建成以洛阳为中心，由永济渠、通济渠、山阳渎和江南运河连接而成，西接大兴，南通余杭，北通涿郡。
