到了十月，赵构又由临安逃往越州（绍兴）。杜充听岳飞之劝，一路收集残兵，居然也有十几万人。岳飞下连同皋带来的人，也有一万左右。江浙一带的居民，因仕充下有岳飞等勇将，都想靠他保卫长江，不使敌骑南渡。杜充只是残杀军民立威，毫无御敌之策。

岳飞又将刘经等将校和一些散兵溃卒招集过来，前后夺了金兵和叛将的粮草很多。

赵构君臣匆匆逃亡，新置办的行陈设和朝廷仪仗全被敌兵掠去，百姓遭殃，更不必说。太常少卿李陵抢了九庙神主逃走，城被金兵一追，连赵氏祖宗牌位也被抛弃。

岳飞得信，立时召请两军将士发话，大意说：“我辈荷国厚恩，当以忠义报国，立功名，书竹帛，死且不朽…江左形胜之地，使胡虏盗据，何以立国？今日之事，有死无二，辄此门者斩！”说到慷慨激昂之，众皆动，不敢再有异志。

其实金兵前锋只五百人，赵构真要率领三军固守一战，并无败理。都是赵构畏敌如虎，才至于此。

杜充早已准备降敌，因岳飞兵力最，不敢得罪，表面敷衍，却不来。等金兵由家渡渡过长江，才派岳飞等和都统制陈淬一同战。杜充的心腹大将王曼，听说杜充有降敌之意，带了所数万人，当先逃退。凡是杜充下的将官，全溃散，只有岳飞这一支人与敌人死战，非但没有援兵辎重，粮草也被逃将带走。敌人虽被暂时打退，下将士全都没有吃的，只得把全军夜屯钟山，歇息了多半夜。天还未明，突然往攻敌营，把金兵杀了好几千。陈淬将听说杜充把建康府库搬光，带领全家渡江降敌的消息，人心浮动，多想叛逃。戚方正在陈淬下，首先带了一支人去当盗。

菩萨保佑他们升官发财，富贵无穷。刚把经听完，正受众人的奉承，满心得意，气焰甚，忽听堂吏大呼：“金兵杀来，圣驾已先走了！”汪、黄二人相顾仓皇，面无人，匆匆上，往南逃窜。城中百姓得信，纷纷夺门外。人多践踏，死伤甚众。个个痛恨贼，咒骂不绝。司卿黄愕逃到江边，军士们误当作是黄潜善，大骂：“你这个误国害民的贼！”黄愕连忙分辩，人已被斩落。

这日，金兀木与叛贼李成合攻乌江。杜充闻报，吓得闭门不。诸将屡次请他兵抗战，概不答覆。岳飞又急又怒，一直冲他的卧室，再三力劝，说：“劲虏大敌，近在淮南，脾睨长江，包藏不浅。卧薪之势，莫甚于此时。而相公乃终日晏居，不省兵事。

宗翰看准宋室君臣庸懦无能，只用三千人，便将扬州行在（皇帝逃亡的所在地称为行在，是舞文墨、避讳逃亡的门面话）不战而得，一面却以全军之力将韩世忠战败，以致江淮一带全成了敌骑蹂躏之地，被祸害的人命财不可数计。

金人不久便命汉好刘豫知东平府，节制河南州郡，刘豫的儿刘麟知济南府，并命大将达赉屯兵险要之，暗中监视。后来见刘豫贪图富贵，死心塌地汉，想拿中国的兵攻打中国，又立他当了齐国皇帝，与宋为敌。刘豫对金主自称“儿臣”历史上的“儿皇帝”刘豫也是一个。

后来闻报，兀术将往临安兵，便领所人前往截击，在广德境内连打了六次胜仗，杀伤敌人甚众。生擒女真汉儿军王权等二

杜充不听，以军令迫岳飞随往建康。岳飞下连新收抚的兵将不过三千，杜充一走，军粮先无着落，暂时只有保全实力，别无良策。恰值皋也由磁州败阵退回，说起这次兀术以倾国之兵来犯，自己虽然上来连胜两次，士卒伤亡甚多。主将又因粮缺势孤，弃城而逃。这才带了孤军，一一路突围转战而来。河北诸郡沦陷于敌，都是兵少缺粮、朝廷不之故。互相愤慨了一阵，只得随军南去。岳飞奉命当前锋，中途连破李成等叛贼于铁路步（镇）、盘城（县）、滁州等地。

万一敌人窥吾之怠而举兵乘之，相公既不躬其事，能保诸将之用命乎、诸将既不用命，金陵失守，相公能复枕于此乎？”说时，声泪俱下。

赵构一路逃窜到了临安（杭州），方始停住。汪、黄二好知持和议，闯下这场大祸，依然恬不知耻，联名上疏，说：“当此国家多难之时，不敢求退。”妄想保持他的禄位。无奈公论不容，中丞张徽奏论二贼有二十行大罪，主要是祸国殃民，陷害忠良，贬窜李纲，又对宗泽百般作梗，使他费尽心力招抚来抗敌的几十万忠义之士，全数瓦解而去。赵构虽想留着汪、黄二好为未来求和之用，无奈群情愤激，迫不得已，才将汪、黄二好贬去。

金人因扬州百姓和一些无人统率的残军纷纷起来抗敌，自知立脚不住，便纵兵掳抢，把扬州城烧了个净，方始退兵而去。

当年六月底，金兀术大举南侵，连破磁，单、密州，声势比以前更盛。杜充先听几木带领数十万金兵就要杀来，越想越胆寒，打算丢掉东京，逃往建康。岳飞力劝，大意说：“中原之地，尺寸不可弃。…留守…且不守此，他人奈何？今留守一。举足，此地皆非我有矣。他日复取之，非捐数十万之众不可得也。”