在曹军逃至巴丘时，生病加上饥饿，人又死了一半，曹操这次终于装不下去了——同样是远征，同样也很艰苦，可是一年前在平定乌桓的回师路上，那是何等的心旷神怡，意气飞扬啊！
提起平定乌桓，曹操就会不由自主地想到因病去世的郭嘉，他叹息着喃喃自语：“要是郭奉孝（郭嘉字奉孝）还活着，一定不会让我落到现在这个地步！”
“哀哉奉孝！痛哉奉孝！惜哉奉孝！”
曹操越想越难过，越想越伤心，忍不住大放悲声。这个时候，他已经有意无意地忘记了一件事，即贾诩也曾对他发起东征予以劝谏，只是他自己没听进去而已。当然，这也是曹操遭到重大挫折后的一贯反应，就如同当初张绣叛变，他不先从自己行为失检上找原因，而是归咎于没让对方提供人质一样。
在张辽、许褚等人的接应下，曹操终于安全退至江陵。据专家估计，共有四万五千曹军参加东征，其中两万五千是水军，已在赤壁基本覆灭，两万是步骑，大概也折损了四到五千人，这样总计是损失了三万人，也即东征部队的三分之二，曹军知名的将领、谋士则无一人在此役中战死、被俘、失踪。
就曹军总体而言，赤壁大战虽不致于使其伤筋动骨，但在北方经过半年训练的水军全部，以及荆州水军的大部都已经损失掉了，仅剩的一万荆州水军难有大作为。陆军方面，人员倒是消耗不算太大，然而经过赤壁一战，也验证出北方士兵普遍无法适应这里的气候与地形，在南方作战很吃亏。
经过权衡利弊，曹操没有就地在江陵休整备战，以迎击孙刘联军的反攻，而是决定率大军返回北方。虽然他命曹仁继续留守江陵，但自此以后再未向江汉领域投入重兵。种种迹象显示，江陵在曹操手中，更像一个过河的卒子，其作用仅限于给孙刘两家制造威胁，牵制他们的兵力。
曹操要在另外一个地方下大棋，这个地方就是淮南。
吃一堑，长一智
南征期间，曹操的出兵和后勤运输路线，为纵贯冀州、颍川、荆襄的南行线，赤壁大战开始后，又延伸至荆江航道，这条路线不仅过远过长，而且到荆江航道那段后，就完全变成了吴军的主场，曹军在赤壁大战中的惨败，很大程度上也正是受此进攻路线所累。
吃一堑，长一智，曹操重新调整部署。当时中原人前往江东，并不需要绕行荆襄，他们是先从各条水道进入淮河，接着以寿春为中转枢钮南下合肥，再入巢湖，继而沿濡须水进入长江，最后渡江东行，即可到达江东的中心区域，此路线亦可称之为东行线。
若以曹军根据地冀州为起点来进攻东吴，东行线是距离最近的一条路线，相比于南行线，它的另一个优势是全程可通水运，能够节省大量的人力物力畜力。
对于吴军而言，也是如此，他们要反过来攻击曹占区，东行线同样不失为理想途径，所以孙权才会在赤壁大战中对合肥进行突袭。从这个意义上说，曹操以淮南为新的主攻方向，沿东行线进兵，也有给孙权造成军事压力，防止其乘隙大举入侵的作用。
公元209年3月，曹操率军来到家乡谯县。就在两年前，他已经回过一次家乡，两年后重归故里，既非休整部队，也不是乡情所致，而单纯是因为谯县河流纵横，可用以训练水师。
要同孙权接着较量，没有与陆军一样强悍的水军不行，而如玄武池一类的人造水池，又根本练不出那样的部队。过去玄武池练兵，曹操都是将练兵任务交给属下大将，自己没有直接参与，此番他亲自主持，在谯县设置造船工场，打造舟舰，同时增招水兵，加强训练。
不到四个月，曹操就建立了一支新的水军。新军建成后，他即亲率水军南下，从涡水进入淮河，再溯淮河入淝水，然后屯军合肥，时称“一越巢湖”。这是赤壁大战后，曹操新建水军的首次公开展示，相当于给曹军新败后一度低迷的士气打了一针强心剂，同时也是在对孙权给予威慑。
随军的曹丕也参加了水上行军，他很兴奋地作赋，对其中“大兴水运，泛舟万艘”的壮观场面进行了记述。玄武池练兵时，曹操水军的规模较小，远不能与这次相比，由此也可以看出，曹操虽然在赤壁大战中惨败，但其实力却未受重创，否则的话，不可能在这么短的时间内就大规模重建水军，并做出再次南征的姿态。
在孙权对合肥等地的初次进攻中，淮南地区遭到很大破坏，战后郡县守令多有缺额。曹操将扬州治所由寿春迁至合肥，选用通晓军事的官员担任扬州刺史，并让曾以奇计吓退孙权的蒋济对其进行辅助，对于淮南各郡县的长官人选，他也都调配选用了合适的人。