宋高宗赵构和张俊对三大将的反对十分恼火，接连下诏斥责，命令他们限期做好攻辽准备，岳飞拒不受命，上书辞职，并且在朝廷还没有回复的情况下便回家给母亲治丧去了。随后狄锋和韩世忠也分别向朝廷递交了辞职申请。

见三大将如此抗命，赵构大怒，迅速将三大将罢免，并以“玩忽职守”的罪名将岳飞流放琼州（海南岛），狄锋给发配去他的先祖狄青被贬的地方青州，韩世忠被贬去漳州。

将三大将罢免治罪后，张浚推荐张俊、刘琦、魏胜、李显忠为将，接替三大将统领兵马，其中张俊为主帅，刘琦、魏胜、李显忠分统三路大军伐辽。由于岳飞等三大将骤然去职，将士惊惧，昔年败于辽军的张俊又成了主将，结果诸将皆不服，军心浮动，从一开始便埋下了深刻的危机。

宋军三路北上伐辽，此时辽军已然腐化，昔年大将如萧斡里喇、耶律松山、耶律燕山等大将都已经去世，宋军一路皆获大胜，只在进攻辽西京时遇到了承天太后耶律普速完率领的辽军强烈的抵抗，不仅围攻逾月不能下，反而遭到了惨重的伤亡。

在宋辽两军都打得筋疲力尽之际，蒙古大军赶到，向西京发起了猛烈的进攻，又经过一个月的激烈残酷的战斗，西京终于被攻陷，耶律普速完于乱军之中失踪，辽帝耶律直鲁古赴西岳园纵火自焚身亡，贵族大臣随同赴死者甚众，辽国自此灭亡。

攻陷西京后，宋军和蒙古军又分头攻击辽国各处重镇，历时一年，除中亚地区外，辽国各地皆被平定，辽国遂亡。

辽国灭亡后，宋蒙双方按约定平分辽土，结果对于宋朝方面的提案，蒙古认为吃亏，双方一直未能谈拢，在这种情况下，好战的张俊索性暗中会同诸将制定了进攻蒙古军大帐的计划，约期共同进兵，结果为蒙古军查觉，暗中设伏，先将前来进攻的李显忠部歼灭，然后集中兵力攻击魏胜军，将魏胜军击灭后，蒙古军转头进攻刘琦军，刘琦先期得到了魏胜军败兵的警告，结阵自守，阻住蒙古军去路，并向张俊请援，张俊得知李显忠和魏胜给蒙古军杀死，全军覆灭后魂不附体，率军南逃，根本不顾刘琦的死活，结果刘琦军在坚守二十余日后，被蒙古军铁骑攻破，刘琦及部下大都战死，仅千余骑逃归。

轻易歼灭了宋军主力后，蒙古军遂大举南下，不但一举将宋军逐出辽国土地，而且还攻入了宋朝本土。

败报传来后，宋高宗赵构大惊失色，他将罪过全都推到了宰相张浚身上，将张浚罢免，以朱胜非为相，重新启用岳飞、狄锋、韩世忠三大将，恢复他们的官职，想用他们挽救危局。三大将在接到朝廷诏书后都是由流放地直接奔赴任所。