当司马光、吕公著二人，积极推翻一切新政，彻底清除新政所生的积弊时，新政派的大将韩缜、蔡确和章惇，仍然高踞在原来的相位上，冷眼窥伺得失。蔡确既为公论之所不容，而章惇跋扈如故。
元祐元年二月间，司马光上言：免役法有五害，请求恢复差役。章惇力加驳斥，上章累数千言，笔下一点不为司马稍留余地。这还不算，更在太后帘前与司马光觌面争论起来，态度非常豪横，说得冲动，竟在殿上大声咆哮道：“它日安能奉陪吃剑！”如此狂妄，太皇太后也按捺不住，大怒起来。于是刘挚奏言：“章惇佻薄险悍，谄事王安石，以边事欺妄朝廷。再附吕惠卿，又为蔡确所引，横议害政，请除恶务尽。”
当时，尚书左仆射蔡确已先罢政，出知陈州，旋改亳州，朝廷即以司马光接替蔡确所遗的相位，仍兼门下侍郎原职，所以王岩叟更奏曰：“惇见陛下以司马光做相，躁忿忌嫉，所以如此。”
章惇帘前争论，惹怒太后后不久，因孙觉议论边政，不合其意，他便公然骂道：“议者可斩。”对于任何一个上书言事的人，一律蔑视为“不逞之徒”，于是满朝怨毒，群起而攻，并于同月罢官，以正议大夫知汝州。钱勰（穆夫）时为中书舍人，制行词，有“怏怏非少主之臣，悻悻无大臣之节”句，非常尖刻。3
但是，关于罢废免役法，持反对意见者却不仅是章惇一人。朝列中头脑比较冷静，不太意气用事的人，也都认为从前施行的差役法，流弊很多。改行免役以来，已经十几年，确比差役进步，法无新旧，以良为是，何必一定要恢复旧法。如与司马光非常亲密的范纯仁，便婉转劝他道：“为治之道，去其太甚者即可。差役一事，尤须仔细考虑，不然，徒为民病。”又道：“宰相的职责，在求人才，变法不必太急。愿公虚心以延众论，不必一定要谋自己出。谋自己出，则谄谀逢迎的小人，便得乘虚而入。”司马光默不作声，纯仁无奈，只好退一步说：“假使相公决意要这样做，不妨挑择一路，先作试验，看看恢复之后的利弊如何？”
司马光为人，有强烈的自尊心和执拗的责任感，坚持已定的主张，不肯接受任何人的建议。范纯仁出来叹道：“凭这个样子的态度，只是使人不再说话而已。我如只欲媚公以取容悦，不如少年时迎合王安石，早就既富且贵了。”
当王安石变差役为免役时，苏氏弟兄都是激烈的反对论者。苏辙当时曾说：“役人之不可不用乡户，犹官吏之不可不用士人。”苏轼更曾坚持差役决不可变，但是后在地方上亲经历练，有了实际的体认，便完全改变了原来的观点，认为王安石新法中，免役确是比差役进步的一个良法。
熙宁初年，苏轼到底还只是一个得意太早的书生，缺乏实际的政务经验，只因读书较多，才气充沛，率然放言高论，不免未尽事实。等他有了几年地方政务的实际经验，才明白从前所行的差役法，积弊很深。主要的原因是应差服役的老百姓，不懂官府衙门的规矩，遂被胥吏们颠倒捉弄，很多人因此破产亡家。原先认为“无可取代”的差役，事实上是便利胥吏为害百姓的恶法。
免役法比较简单，按照老百姓的户产高下，分等出钱雇役，颇合“有钱出钱，有力出力”的原则，可以断绝胥吏勒索的机会，只须把该收的实费之外，另有许多滥加名目的苛杂严格禁革，这已经实行了十六年的办法，没有改回差役的必要。
司马光尽罢熙丰新法，罢到差役法时，最不为朝列所同情。范纯仁诤劝无效，苏轼便贾勇往见，向司马相公说道：
“相公所要施行的，都是上应天心、下合人望的事，唯有役法一节，不可轻议。差役免役，各有利害。免役之害，在于掊敛民财。在上的人聚敛，在下的老百姓便有钱荒之患。差役之害，在于民常在官，不得专力农事，而胥吏从中作奸。……两害相权，轻重略等，现在要以彼易此，人民未必欢迎。……”
苏轼很婉转地说开了一个头，还没提出正面的意见，司马光便愕然问道：“那么，如你所说，计将安出？”
“法相因则事易成，事有渐则民不惊。”苏轼先举原则，然后以兵役作例来做说明：“三代之法，兵农合一，到秦时才分而为二；唐朝中叶，把府兵废为长征卒，从此民不知兵，兵不知农，农人拿出谷帛来养兵，兵用性命来保卫老百姓的身家，天下称便。我想，即使圣人复出，怕也不能变易。现行的免役法，与此相同。公欲骤罢免役，改行差役，恰如要罢佣兵而恢复民兵一样，恐怕不很容易。……”