绍兴十一年（1141年）八月，由于秦桧、张俊、万俟卨等人的一再唆使，岳飞就自请回到江州庐山旧居赋闲等候朝廷的处理。在这段时间里，他游览了周边的名山大川，在游览安徽时，写下了《题池州翠光寺》表达自己的心情：
爱此倚栏杆，谁同寓目闲。
轻阴弄晴日，秀色隐空山。
岛树萧疏外，征帆杳霭间。
予虽江上老，心羡白云还。
“征帆杳霭间”“心羡白云还”这些话语，表达出岳飞还想重新披挂上场、奋力杀敌的英雄情怀。
秦桧、张俊等人看到右谏议大夫万俟禼弹劾岳飞大罪的奏章没有起到什么效果，非常着急。
右谏议大夫万俟禼就叫来他的部属御史中丞何铸、殿中侍御史罗汝楫，和他们一起商量对策。
何铸，字伯寿，浙江余杭人。政和五年进士，历官州县。入为诸王宫大小学教授，现在官职为御史中丞。
罗汝楫，字彦济，徽州歙县人。政和二年进士，为郴州教授，现任职务为殿中侍御史。
万俟禼对他们说道：“你们作为言谏官，知道朝廷最近的核心大事是什么呢？”
何铸、罗汝楫回答道：“当然是议和这件事”。
万俟卨问道：“进展得怎么样了呢？”
何铸、罗汝楫回答道：“听说比较顺利，只是还有一些武将持有不同意见。万俟公不是已经弹劾他们了吗？”
万俟卨恼怒地说道：“你们和我都身为谏官，却不能替皇上和秦公分忧解难，那要你们干什么？你们今天的荣耀和地位，难道不是圣上和秦公给你们的吗？还想不想继续干了？！”
何铸、罗汝楫为了保住自己的职位，于是轮番上疏弹劾岳飞，大体内容是说：“岳飞接到朝廷圣旨后应当起兵迎敌，可是他才到了龙舒附近就畏惧敌人，不再前进了；他作为一名将帅，奉命出使防守，可是他本人竟然鼓动属下放弃山阳，不要防守，向后撤退。按照岳飞平日以往的性格，不应该至于这样吧。难道是他现在不想再忠于皇上了吗？
自从他离开部队兵权位置，荣登枢筦职位以来，他不但没有感到高兴，反而郁郁不乐，每天想着引去避位。他曾经对别人说：‘此等鸡肋官职，多年以前朝廷执政就想任命我为此职务，我都不愿意来呢。谁稀罕这样的破烂职务呢！’他如此妄自尊大，略无忌惮，简直目无朝廷。尤其是他最近公开蛊惑军心，竟然说山阳城不可防守，军民摇惑，军心涣散了。后来他的话传开之后，由于士卒没有斗志，确实几乎失去了山阳。如果真的失去山阳的话，虽然把岳飞斩首了，有什么益处呢！希望朝廷快速赐给他处分，让他外出去闲祠放养，把对他的处罚作为不忠之臣的警戒。”
万俟禼看到皇上没有下决心罢免岳飞，就接连上了四次奏章，又把他弹劾岳飞的奏章抄写了几份，送给岳飞以及其他大臣。岳飞意气风发，怎么能受得了其他大臣的讥讽呢？于是他就上奏要求辞职，朝廷就把岳飞贬斥为武胜、定国军节度使，充万寿观使。
话分两头，事归一面。
虽然金人一方面同意进行议和，但是一方面又为战争做准备。他们在西线加大了对陕西的进攻力度，图谋攻破秦岭天险，以图四川，然后长驱直入。
由于当时宋廷寄希望于和谈，因此不再进攻，而是进入防御阶段。宋廷为了确保四川安全,就下令当地军队退守仙人关。金军大元帅完颜杲率领大军攻取宝鸡并进占陇州和秦州后,派遣金兵统军呼珊（胡盏）、迪布禄（习不祝）合兵五万屯于刘家圈(在今甘肃天水),伺机攻取整个陇右。刘家圈地处高原，前临峻岭，背靠腊家城。金军据险扎营，易守难攻。
绍兴十一年（1141年）八月,宋廷四川宣抚副使胡世将把右护军都统制吴璘、川陕宣抚司都统制杨政、枢密院都统制郭浩等将领，集合于仙人原，商量对付敌人的攻取之策。
吴璘请求带领精兵三万人，破此两敌，收复秦、陇。出发前，他向胡世将立下军令状，说如果战事不捷，誓以必死。胡世将大为感动，就以二万八千人交给他。另由杨政率部出和尚原、郭浩出商州以为声援。
临出发之前,吴璘在河池操练兵马,教演新的战阵之法。其法每阵以军士手持长枪在前,半蹲在阵列最前面，不得起来；然后再紧跟着是强弓和强弩，半跪膝持弓弩准备；最后是威力巨大的神臂弓。与敌人接战时,敌人来到百步之内时,神臂弓先发；到达七十步之内时,强弓、强弩一起并发；再到临阵相接时，以防止对方的骑兵马匹为限；自己的马匹则用铁钩相连,如果有马匹受伤，则马上进行更替；更替时就以大鼓作为三节号令,之后就让骑兵出于两翼，掩护住大阵进行更换，更换完毕之后，阵势重新布置完毕后，骑兵就又撤回，把这个方法称为叠阵法。
诸将都私下议论纷纷说：“把军队兵卒这样捆绑在一起，难道是要我们全部被敌人歼灭吗！”吴璘回答说：“这是古代整肃队伍的法令之一。军法早就有这样的说法，只是你们诸君不知道罢了。要把握车战的精髓馀意，无过于此。因为这样结阵的话，战士团结一心，人心稳定，同生共死，则能持满，永不退缩。敌虽然进攻锐利，也不能攻破我们阵地。如果只知道车战的优点，可以用于平原旷野之间，而没有懂得车战的具体办法，那他失败也就是应该的了。敌人骑兵长于奔冲，如果我们不把士兵结成一块，敌人骑兵一冲击，我们就散乱了，怎么能抗击敌人呢。”听到吴璘这么解释，大家才放心了。