、吕翔部在击退汉军前部的骚扰后，汇河南郡东部各县兵丁辎营，装车北上到达荥阳。
此时荥阳外的汴水上，舟船相连，满是敖仓粟。前头部分舟师已经北上，他们将要沿着汴水入黄河，然后在黎阳转入清水，再入漳水到邺城。邺城就是张冲选定的在河北的驻军之所。
隔此不远的虎牢关，大将军何进以下皆默许泰山军的行动，幕府中有识之士皆扼腕叹息，但徒之奈何。
于此同时，在泰山军陆续收缩，并表现出明显的北上态势。张温、朱儁等汉兵也开始慢慢北上。
此时的他们也不敢冒险拦截，因为担心泰山军在声东击西，也不敢分兵。曹操、孙坚等战将数次请战，也被张温拦了下来。对他来说，如果泰山军真的北上河北，对他也是好事，既能对国家有交代，还能保存实力，让各部有时间磨合。
于是，南来汉军缓慢尾随，陆续收复了河南东部的数县，也进逼到荥阳外。
光和六年，九月二十八日，午。
泰山军诸将文武皆向张冲辞行，率队陆续北上。在泰山军大部都北上后，张冲带带着幕府和中护军开始登船。
此次北上，泰山军举军水路，以左军校尉关羽部为先锋，张旦部继之，丁盛部再次之，最后中护军上下。
九月二十九日，夜。泰山军基本撤出荥阳地区。
荥阳外的汉军就看着泰山军这么撤走，直到泰山军撤了一空，他们才开入荥阳城外的营盘。尔后，不动一兵，就收复荥阳。
因为当时深夜，率先入荥阳的汉军又没忍住，再次纵火劫掠荥阳。此时还留在城内的基本都是对汉军拥护的，之前开城投降的和活不下去的穷苦都随泰山军北上了。
这些心里有大汉的黔首再一次被汉兵伤透了心，也丢了命。最后，城内万余百姓，除了数百人逃出，其余皆死兵火。
而这一次屠城，在汉军军报中：
此为泰山军撤退焚城之举，属实丧心病狂。