桓温在撤离关中前，还想把王猛一起带走，希望王猛能辅佐自己。

为了打动王猛，桓温让张盛带着华丽的车马去山里请王猛，同时许诺王猛在军中担任高军督护，希望王猛能够跟自己一起撤回东晋；

王猛看着华丽的车马，以及故友张盛，心中拿不定主意，他一面感念桓温的救命之恩，一面又觉得桓温做事虎头蛇尾，做事不够果断，虽有称雄之心，却又瞻前顾后，难成大器。

王猛犹豫不决之时，他的老师出来了，王猛的老师就是当年买王猛簸箕的那个老人，他觉得王猛是个可塑之材，所以决定亲自教授王猛兵法，王猛学习兵法并非死记硬背，而是善于从史料中寻找各种案例，从兵书中学会运用战略和战术。

久而久之，王猛就成了一个饱学之士，堪称拥有包藏宇宙之心，吞吐万物之志。

王猛的老师见王猛犹豫不决，便对王猛说道：“你出身寒微，而东晋政权到目前为止，门阀势力已经固化。在这种政治格局下，想要从中脱颖而出，就必须要有名门势力，寒子终究难出头，即使有出头之日，也最终难免被世家大族群起而攻之。”

一语惊醒梦中人，王猛不由自主的拍了一下脑门，感叹道：“老师就是老师，一语中的，就自己的出身而言，在目前的东晋政权里是绝无出头之日的，而桓温又没有抗衡整个士族阶层的决心，那么自已南下必然没有出路。”

受到老师启发的王猛便下定决心，不随桓温南下，于是便委婉的谢绝的张盛的好意，张盛见王猛决心已下，也就不便再多说什么，于是便回营向桓温复命。

桓温在知道王猛不肯跟随自己回东晋后，心中难免有些失落，此时京师情况危急，桓温不敢做过多的停留，在安排好撤退事宜之后，便带着无尽的失落之情，离开了这个曾经无限接近于成功的故都长安，匆匆的从原路返回江陵。

桓温从霸上撤军东晋的消息不泾而走，不少心存晋室的汉族百姓恸哭不已，几十年来他们受够了异族人的霸凌，日夜期盼的王师的归来，没成想王师仅仅归来几个月，眼看就要收复故都，却又要离他们而去，这让他们无法接受，因此不少人决定随晋军一起撤回东晋，他们拖家带口，带着妇孺老弱紧紧的跟在大军的后面，竟也有三千户之多；

然而，在桓温撤离的时候，苻健趁机派出大批部队沿途不断的骚扰晋军及撤离百姓，百姓都是拖家带口，行动不便，因此死伤惨重，桓温不忍些这些百姓再受苦，虽然带领百姓撤离会拖慢行军的速度，但桓温还是决定让张盛带领一万人专门护送这些百姓，而桓温因为担心褚蒜子的安稳，因此先行带领一部分兵力返回江陵。

在桓温撤退的同时，司马勋和王擢也在撤退，司马勋通过子午谷退回了汉中，而王擢则撤到了天水郡，此时的他已经不敢回姑臧了，因为张祚已经完全掌握了政权，前凉的政治势力都仇视王擢，因此为了保全自己，王擢撤到了天水郡，天水离前秦控制的扶风郡很近，万一有变，王擢就可以直接投降前秦了。

桓温撤到江陵之后，由于担心褚蒜子的安稳，所以并没有做过多的停顿，在短时间内就凑齐了三万大军，对外号称十万；

此时行动并不是为了击败姚襄，而是威胁姚襄尽快撤军，以解除首都健康的危机，因此为了震慑姚襄，桓温故意找了很多空船，然后率领大军大张旗鼓的沿长江顺流而下，大军乘坐的帆船和大批的空船在江面上浩浩荡荡，旌旗遮天蔽日，看上去声势十分的浩大。