外敌难以撼动的岳家军，却遭到了南宋朝廷内部投降派的摧残。
就在这抗金战争取得辉煌胜利的时刻，甘心充当儿皇帝的高宗赵构，因担心一旦中原收复，金人放回他的哥哥钦宗，他就保不住皇位，而急切地希望与金入议和。
金人安插在南宋朝廷里窃取了宰相高位的内奸秦检，也抓住高宗这个难言的心病大肆活动，破坏岳飞的抗战。他们狼狈为奸，密谋制订了全线撤军、葬送抗金大好形势的罪恶计划。他们首先命令东西两线收兵，造成岳家军孤军突出的不利态势后；即以“孤军不可久留”为名，连下十二道金牌(红漆金字木牌)，急令岳飞“措置班师”。
在要么“班师”、要么“丧师”的不利形势下，岳飞明知这是权臣用事的乱命。但为了保存抗金实力，不得不忍痛班师。岳飞愤慨地说；“十年之功，废于一旦!所得诸郡，一朝全休！社稽江山，难以中兴!乾坤世界，无由再复!”岳飞的抗金英勇斗争，至此被迫中断。
岳家军班师时，久久渴望王师北定中原的父老兄弟，拦道恸哭。岳飞为了保护老百姓的生命财产，故意扬言明日渡河，吓得金兀术连夜弃城北窜，准备北渡黄河，使岳飞得以从容地组织河南大批人民群众南迁到襄汉一带，才撤离中原。