曹魏时期形成的大运河水系，经两晋、南北朝长达360多年的冲淤和破坏，到隋朝统一中国时已经大部分淤塞断流。隋文帝杨坚在开国之初，即着手对大运河进行全面规划治理。到隋炀帝杨广弑父登基后，出于治国兴邦和南下游玩的双重目的，几乎倾尽全国之力，对大运河水系实施了大规模的疏浚、开挖和改道工程。大业元年（605），炀帝征丁夫十余万众开邗沟。同年还下令征发一百万民夫开凿连接黄河与淮河的通济渠，将曹魏时期的旧河道拓宽加深，使京师长安至扬州段开始通航。大业四年（608），炀帝又诏发河北诸郡男女百万民工，顺曹操开凿的白沟、平虏渠向北开挖永济渠。永济渠由静海独流折向西北，取道信安、霸县，直抵涿郡的蓟城（在北京南）。待邗沟、通济渠、永济渠三段河道完工后，炀帝又把治河目光转向江南，于大业六年（610）下令整修吴越运河，从长江南岸的京口（今镇江）至余杭（即杭州），又延伸800公里。隋朝大运河以长安、洛阳为中心，全线通航后，形成一个头朝西的"人"字，一撇向南止于杭州，一捺往北收于蓟城，流经京、津、陕、冀、鲁、豫、皖、苏、浙九个省市，全长达6000多里。在这举世无双的大工程中，北运河一段虽然仍处于支流位置，但与大运河主线衔接得更加近捷，所以在此后的600多年里，河西务开始进入了扩充发展的加速期。

    元朝统一中国后，定都北京（时称大都），政权中心开始北移。当时大都人口已逾40万，军需民用无不仰给江南，所以在定鼎之初，便开始对大运河进行全线疏凿。至元七年（1270），元世祖忽必烈采纳督水监郭守敬的题奏，调用夫役250余万，在隋朝大运河的腰部，平地凿渠250余里。此段河道南起济州，北接临清，通过裁弯取直，一下子将原河道缩短700多里，被元世祖命名为"会通河"。至元十三年（1276），郭守敬又提议废永济渠，改行通州至天津的潞河水道，元世祖稍加改动，便颁旨施工。这段河道即现在的北运河。它从香河城西的孙家务取直开沟，经河西务、蒙村、蔡村、杨村，向南仍取笥沟注入天津海河。到至元十七年（1280）完工后，仍称潞河，到在明朝后期才改称北运河。至元二十九年（1292），为使漕粮直接入京，元世祖又采纳郭守敬的建议，兴工开凿通州至大都城里的运粮河。此役耗时一年有余，用工280余万。通过上述三大工程，从北京至杭州的大运河缩减到了3500余里，名符其实的京杭大运河也由此正式定型。