却说刘裕回兵至下邳，以船载辎重，自率精锐步归。知何无忌败死，卷甲兼行。将济江，风急，众咸惧之。诸将请待风息，裕曰：“若天命助国，风当自息，不然，覆溺何害？”命登舟，舟移而风止。四月至建康，青州刺史诸葛长民、兖州刺史刘藩、并州刺史刘道邻各将兵入卫。藩，毅之从弟也。
卢循兵威大振，将近建康。百官会议奏曰：“贼兵强盛，刘公回来，不如北走避之。”帝问曰：“贼在何处？”大臣曰：“贼在豫章，与京相隔五百余里。”帝曰：“贼尚未至，待到，避之不迟。”言讫罢朝。
却说刘裕回兵至山阳，大哭镇南将军何无忌。忽闻朝野震骇，帝欲北迁之事，裕益大哭无忌，涕零不已。亲自设席祭之，又令三军挂孝三日。至癸未，始至京都，入朝觐帝，拜毕，帝曰：“太尉北征劳神。”裕曰：“陛下掌政事不易。”帝请刘公平身，裕曰：“近闻卢循领兵，已取豫章，将及到此，陛下议论若何？”帝曰：“今文武议欲迁都。”裕听说乃怒曰：“大臣以为京都无人，故此畏避耶？”帝曰：“卿意如何？”裕曰：“主上曾与谁人议论也？”帝曰：“与众议之，理尚未定，故召公回决之。”裕因问群臣曰：“请君主避者，愿闻其详！”
众答曰：“妖贼虎豹也，挟强盛而寇四方，勒有百万之师，近得豫章三郡，其势甚大。吾建康可拒贼者长江也，今贼艨艟巨舰，何止数千，水陆并进，占地千里，况明公北伐始还，疮痍未复，侍卫老弱等数万人，安可挡之？若依愚等，莫如早避，尚图后复。”裕曰：“此乃迂阔之论也！建康自返正乘舆以来，今历数载，安可一旦而弃于贼也？”帝曰：“若此将以何计拒之？”裕曰：“贼虽强盛，实易攻也。”帝曰：“如何易攻？”
裕曰：“贼之所统，皆乌合之众、蚁聚之兵，军无纪律，将无远略，民心不附。以陛下雄武，仗先帝之灵，具文武之力，臣自以兵保为陛下破之！”言未毕，班部中撞出步骑将军刘毅，上殿奏曰：“臣请精兵五万先行，破此贼人。”裕谓毅曰：“今贼新捷锋锐，莫可先动，必须严军偕进。”毅曰：“贼众虽盛，不可畏之。”于是毅坚要行，帝只得委兵五万与毅先行。