黄潜善、汪伯彦是很懂高宗心思的,于是一个劲的劝说高宗暂到扬州躲避。李纲遂劝谏说:“自古以来的中兴之主都把都城放在西北部,这样以来就可以占据中原并且坐拥东南地区。如果把都城放着东南部,就不能恢复中原的领土,也就失去了西北的地区。而天下的精兵好马斗争西北部。如果放弃了中原地区,金国人就会趁机骚扰中原的内部,到了那个时候盗贼也会群起作乱。到时候,陛下就是想恢复中原也做不到了。”宋高宗于是下诏巡幸南阳,任命范致虚做邓州知府,并安排修城治宫,营建抗金行朝。
这个时候黄潜善,汪伯彦仍主张宋高宗去扬州。李纲坚决不同意,说除非罢免了他。这个时候对宋高宗来说逃命要紧。至于李纲。宋高宗赵构本来是想让李纲帮自己压住台,好让天下的臣民将士都听自己的。可李纲这个人又很有些迂腐,一门心思用在打败金军、迎回二圣。用来组织一下大局是可用的,可金国人攻打过来了不让宋高宗逃命,宋高宗就不高兴了。这年八月,宋高宗就罢免了李纲,废弃了李纲的招抚经制二司。召回傅亮,把张所安置到岭南。一切李纲所规划的军民政策全部废弃。