熙宁四年（1071年）七月，御史中丞杨绘、监察御史里行刘挚上疏谈论免役法的害处，贬杨绘为知郑州，贬刘挚为监衡州盐仓。
熙宁五年（1072年）三月，判汝州富弼上疏，他说，新法是他不明白的，不能用来治理州郡，愿意回到洛阳养病，皇上答应了他的请求，授予他司空武宁节度使，辞职回家。
熙宁六年（1073年）四月，枢密使文彦博请求辞官，授予他司空河东节度使，判河阳。
熙宁七年（1074年）二月，监安上门郑侠进献《流民图》，说天下大旱是新法造成的，不久就因为擅自派发“马递”传送文书被交付御史审问治罪。八年（1075）正月，他被放逐到了英州。
综上所述都是当时阻挠新政的大概情形。德高望重的元老们在朝堂之上作梗，盛气凌人的谏官们在下面哄然而起，而王安石孑然一身，挺立在他们中间，整个天下的艰难危险，没有超过此时的了！王安石在熙宁三年（1070年）写有《谢手诏慰抚札子》，其中写道：“我观察老天给了皇上聪明睿智，要实现尧舜那样的理想，确实是有希望的，所以才没有考虑自己的能力和时机是不是合适，就大胆地用我这个不很强壮的身体承担起天下的怨恨和诽谤，不过是想帮助皇上实现您的志向。自从我参与政事以来，已经有一年了，也没有什么作为，但他们内外勾结，联合起来，在一边非议我们所做的事情，对下专门欺骗百姓，对上企图蒙蔽皇上，流俗像波涛一样鼓荡起来，汹涌澎湃，以至于到了这种程度。皇上又好像不能不被他们迷惑，恐怕像我这样一个渺小的人最终不能完成这项使命。”他的危难痛苦之情令百世之后的读者仍然感到十分哀伤。
如果不是像王安石这样坚忍不拔的人，他能成就什么事呢？后世那些批评王安石的人就不必说了，即使是赞赏王安石的人也不免因为他任用了小人而为他感到惋惜。王安石所任用的那些人，果然都是小人吗？我将在后面的章节中论述，但是，当时阻挠新政的那些人难道不是世人所说的君子吗？像程颢、苏辙，都是王安石最初提拔起来帮助做事的官吏。其余像韩琦、富弼、文彦博、吕公弼等元老，他们和王安石共事，或一年，或二三年，或四五年，王安石从始至终何曾想到要排挤他们？但他们动辄就以去留相威胁，以此来争论新法是否可行，王安石能因为要安慰挽留这些同僚和朋友就扭曲自己的信仰，改变自己的志向吗？或者，为了坚持自己的信仰，实现自己的理想，就得罪这些同僚和朋友吗？二者不得不选择其中之一，真的是很难的，所以王安石在熙宁三年（1070年）曾经上疏请求罢免他的职务，也就是因为他觉得既然志向不能够实现，那么还不如退隐山林守住自己的身体呢。但神宗对他的信任越来越深厚，对他的任用也越来越专一，有这样的皇上，他又怎能忍心辜负皇上的期望呢？只有鞠躬尽瘁，使得改革的大业能够最终完成。那些所谓的贤人既然对王安石的新法不肯苟同，并且发誓不与他同在一个朝廷为官，也就只有听从他们的意愿离开这里了。我们生在今天，如果设身处地地为王安石想一想，有可以两全的办法吗？
王安石当时所立的各项新法没有不好的，他要革除的弊端也是那些贤人们曾经皱着眉头提出来的，后来所取得的成绩也许不像最初预想的那样，但也是因为推行新法的人不是很适当而已，如果这些贤人能和王安石和衷共济，时常能互相弥补并防止过分的行为，那么怎么见得成绩不会更加显著呢？但事实上，他们却不问是非对错，凡是新法，一定拼了性命来攻击，明明知道这种攻击是不能让皇上回心转意的，却一定要上弹劾王安石的奏章，请求辞去职位，使自己出名，甚至有些地方官竟然要求州县不要执行朝廷的命令，这些人都是豪门大户，士子庶民都看着他们是如何做的，于是那些从新法中得不到好处的人都依附到他们周围。他们鼓动起来，影响到四面八方，使得老百姓无所适从，就好像一只手画圆，十只手画方，虽然有很好的法令，但是得不到很好的推行，这是必然的。
然而，新法的好处不能补偿它的弊端，是谁的过错呢？逼迫王安石不得不用小人，又是谁的过错呢？尽管如此，王安石对待那些攻击自己的人可以说已经够仁至义尽了。对于各位要求居住到京城之外的元老，仍然经过了再三挽留，不同意，坚持要走的，也只好让他们走。对于其他的官员，也不过降职或外放补缺，不曾有一个人因为这件事被罢免官职，治罪的就更不用说了。其间只有郑侠一个人被放逐到边远的地区，但那是王安石罢相回到江宁以后的事了。想看看子产、商鞅是怎么对待贵族的吗？想看看张居正是怎么对待那些言官的吗？想看看孔子是怎么杀少正卯的吗？