郑侠心生悲悯，就按逐日所见，绘成一幅《流民图》，附以疏状，亲诣閤门，请求代奏。閤门官吏不肯接受，郑侠就谎称是秘急文件，发马递上，奏疏里面说：“陛下征伐外夷，别人所上的都是国家胜强的图录，而没有人画出天下流离失所、饥寒交迫之状进献御前的。此图百不及一，但经圣览，亦可流涕。陛下观臣之图，行臣之言，天如不雨，即乞斩臣宣德门外，以正欺君之罪。”
神宗再三地细看郑侠这张《流民图》，长嘘短叹，郁郁不乐，晚上又把它带进寝宫去，以致整夜都不能成眠。
其时各地久旱成灾，尤以国家财经中心的两浙和淮南东路被灾最为严重。神宗忧形于色，以为新法病民，天已示警，心理开始动摇。安石说：“水旱常数，尧汤所不免。陛下即位以来，累年丰稔，今旱暵（干）虽久，但当益修人事以应之。”
神宗奋然道：“此岂细事，朕所以恐惧者，正为人事有所未修耳。今取免行钱太重，人情咨怨，自近臣以至后族，无不言其害者。”
待看了郑侠的《流民图》，一夜不眠后，神宗下了决心，也不和安石商量，径自下令开封府体放（停收）免行钱，命司农发常平仓救济灾民，命三司查察市易的弊害，停止青苗免役的追索，并罢方田等，一共十有八项。
于是，王安石坐不住相位了，上章乞解机务。神宗虽还挽留，而安石去意已坚，章凡六上，乃以观文殿大学士出知江宁府，并从安石之请，以韩绛代安石为同平章事，吕惠卿为参知政事，时在熙宁七年四月。五月以翰林学士三司使曾布提举市易司。
吕惠卿是个阴狠险毒的真小人，知道神宗对王安石敬信未衰，而韩绛则是个出身世家的标准官僚，乡愿作风。二人登台后，墨守安石成规，不敢少失。当时的人称韩绛为传法沙门，吕惠卿为护法善神。
其实，吕惠卿心里最怕的是王安石东山再起，不久，就挑起安石之弟王安国与李士宁之狱。凡可以陷安石者，无所不用其极。即使是同时并起的老搭档曾布，也因市易发生争执，被他设计排出中枢，落职出知饶州。
苏轼有咏史（王莽、董卓）二诗，周必大《二老堂诗话》曰：陆放翁听王性之说，东坡作《王莽》诗“汉家殊未识经纶，入手功名事事新”，是讥讽安石事事欲求变革的作风；《董卓》诗“只言天下无健者，岂信车中有布乎”，讥安石终遭惠卿、曾布内叛。刺董卓者是其义子吕布，吕合惠卿姓，布合曾子宣之名。
八 别西湖
苏轼自常润归来，太守陈襄已届瓜代之期，诏与知应天府的杨绘对调。
陈襄设宴有美堂，告别僚佐，苏轼受嘱赋《虞美人》：
湖山信是东南美，一望弥千里。使君能得几回来？便使樽前醉倒更徘徊。沙河塘里灯初上，水调谁家唱？夜阑风静欲归时，惟有一江明月碧琉璃。此后送旧迎新，自有许多宴会，粉白黛绿，檀板金樽，需要新词供伎乐歌唱，所以苏轼写了许多词，如送述古迓元素的《诉衷情》，孤山竹阁送述古的《江城子》，西湖送述古的《菩萨蛮》等，西湖这一阕是：
秋风湖上萧萧雨，使君欲去还留住。今日漫留君，明朝愁杀人。佳人千点泪，洒向长河水。不用敛双蛾，路人啼更多。陈襄启程离杭，苏轼一直追送到临平舟上，别绪离情，心里无限的空虚落寞，作《南乡子》别词，道归家路上所感：“……归路晚风清。一枕初寒梦不成。今夜残灯斜照处，荧荧。秋雨晴时泪不晴。”
这年秋天，京东、河北两路，又发生蝗灾。蔽天的飞蝗，蔓延及于淮浙，苏轼又被派赴临安、於潜、新城一带，督导各县捕蝗。他眼见蝗害的严重，说：
轼近在钱塘见飞蝗自西北来，声乱浙江之涛，上翳日月，下掩草木，遇其所落，弥望萧然。群飞的蝗虫发出来的声音，竟能盖过如千军万马奔腾而至的潮声，天上一片乌黑，遮得日月无光，一下来，千顷绿稻，立刻卷光，声势之大，令人不寒而栗。
苏轼连日尽在田野间察看飞蝗的来势，检查受灾的情况；晚上又须与有关人员研讨捕蝗的方法，劳累不堪。一处事定，又须再去一地，这种单调的胥吏工作，更使他心里充满委屈的感觉。当他在临平和於潜两县间的山上，行至浮云岭上时，体力更是疲惫难支，慨然有被人当作厮役差遣之耻，气起来就想毁车杀马，扯碎衣冠，逃归乡里去读书。但是，这个秘密的心事，除了弟辙，没处可说，乃作《捕蝗至浮云岭，山行疲苶，有怀子由弟二首》之一云：