Większość rzek w Chinach płynie z zachodu na wschód. Tak więc niemal zawsze odczuwano potrzebę istnienia kanału wodnego biegnącego w osi północ-południe. W istocie kilkukrotnie rozpoczynano budowę kanału. Jedynym efektem tych prób było powstanie kilku niepołączonych odcinków. Dopiero cesarz Yang (rządził w latach 605–618 n.e.) z dynastii Sui doprowadził do wybudowania kanału.
Prace zajęły 6 lat. Siłę roboczą stanowiło kilka milionów robotników. Do kanału włączono jeziora i rzeki, przebiegające na jego trasie. Pierwotnie kanał miał ok. 2000 km długości. Był szeroki na 30–70 metrów. Północny kraniec znajdował się w powiacie Zhuojun (obecnie w granicach Pekinu), a południowy w Yuhang (obecnie miasto Hangzhou na południowy zachód od Szanghaju).
Po ukończeniu budowy, sam cesarz udał się na południe, stojąc na czele floty zajmującej 100 km długości kanału.
W czasach dynastii Yuan (1271–1368) kanał został poszerzony i pogłębiony. Dzięki tym zabiegom stał się główną arterią komunikacyjną biegnącą ze południa na północ. Współcześnie realizuje się plan przywrócenia funkcjonowania kanału. Jednym z celów ma być transport wody do nękanych jej niedoborem regionów północnych.