至于文彦博说的那番话，想起来也是很可怕的，他说：“皇帝是和士大夫一起治理天下，并非和百姓一起治理天下。”姑且相信他的这种说法，那么尽可能地掠夺老百姓的财产来取悦士大夫，是不是就达到天下大治的极限了呢？我要郑重地告诉后世读史的人，王安石当时推行的新法没有一件事不是有利于老百姓的，也没有一件事是不利于士大夫的。士大夫的利益一定和人民的利益相冲突吗？我辈今天所能考察到的都是当时士大夫的言论，当时老百姓怎么说，已经无从知道了。想要凭借一面之词就做出证据确凿的判决，那么他的冤枉岂不是真的和莫须有的罪名一样了吗？免除差役只是其中的一个方面罢了。
当时造谣、诬蔑、诽谤王安石的人很多，不能完全记载下来。《文献通考》中记载了作为司农寺主要负责人的曾布所写的一篇自我辩护的奏文，从这篇文章中可以明显看出，那些诽谤者的虚构、诬陷之词是如何产生的，不顾事实真相随便猜测的人是如何造谣生事的。这里只摘录其中的大略：
京城附近的上等户完全停止了过去的衙前差役，所以如今他们缴纳的钱财比过去服役时的费用减少了十分之四五。中等户过去要充当弓手、手力、承符、户长之类，如今要求上等户、坊郭户、寺观、单丁、官户等都出钱作为助役的费用，所以他们的花费比过去减少了十分之六七。下等户完全摆脱了繁杂的事务，专门充当壮丁，而且不用缴纳一贯钱，所以他们的花费比从前减少了十分之八九。大抵上等户减少的费用少一些，下等户减少的费用多一些。批评者说，新法的做法是优待了上等户，虐待了下等户，于是得出聚敛的结论，这纯属诽谤，真不知从何说起，这是我不明白的地方。提举司鉴于各县在考核农户等级时有不切实际的地方，所以首次制定了农户等级升降的条例，开封府、司农寺开始讨论这个方案时，大概不知道过去也曾有过增减农户等级的情况，但过去的规定是每三年重新登记一次，农户的等级也常有升降，如今根据考核的结果有所增减，也不能说做得不对。何况我们从一开始就向农户公布了考核的情况，如果有不符合实际情况的，还可以加以改正，而且所有农户等级的增减实际上并没有马上执行。批评者却认为，核算农户的财产，确定他们的等级，是想多多收取助役钱，而把一些农户升为上等户是要使免役钱的数目更加充足。而说到祥符等县，因为上等户数量较多，于是裁减一部分充为下等户，这样的事他们偏偏掩盖起来不说，这也是我不明白的地方。
凡是州县的差役，没有不可以招募人来做的道理。如今来投考报名应衙前差役的已遍及半个天下，没有不能主管仓库、场务、纲运的；而承符、手力之类，旧法也是许可雇人的，已经实行很久了；只有耆长、壮丁，按照今天的安排，这是最轻的差役，所以才轮流差遣乡户，不再招募人。批评者却认为，衙前雇人会使官府的物品丢失，耆长雇人则难以捕捉盗贼；而且认为，靠近边疆的州县可能会有敌人的奸细来应募，他们或者焚烧仓库，或者占据城门，恐怕会与外族勾结，里应外合，这更是我所不明白的。免役法规定，或缴纳现钱，或缴纳粮食，都根据农民自己的意愿来定，法律能做到这一步，已经是非常周全了。批评者却认为，如果是缴纳现钱，那么丝帛粟麦的价钱一定便宜；如果缴纳实物，把实物折算为现钱，那么又会发生刁难农户的行为，都对百姓有所伤害。如果是这样的话，我们应该怎么做呢？这也是我所不明白的。过去的徭役都是百姓要做的，即使是大灾之年，老百姓吃不上饭，也没有免除过差役。如今，免役钱只希望稍有盈余，为的是给大灾之年做一点儿储备，剩余的又专门用于兴修农田水利和增加官吏的俸禄。批评者却认为，助役钱不同于赋税，应该有减少和暂停的时候，我不知道过去征集衙前、弓手、承符、手力之类是不是也有过减少和暂停的时候，这也是我所不明白的。两浙一路，有户口一百四十余万，共缴纳七十万贯钱。而京城地区有户口十六万贯，缴纳的现钱也是十六万，两浙缴纳的钱只是京城地区的一半，但京城地区支付募役之人的薪俸后就剩不下几个钱了。批评者却认为，官吏借新法大收其钱，比如两浙为了一点儿结余而暗自侥幸，司农寺想用剩余邀功，这都是我所不明白的。
看到这里可以知道，当时那些诽谤者一定都是扬恶而隐善的。他们对于旧法的利弊和新法的利弊并没有进行过比较，也不去权衡它们孰轻孰重，他们说的那些话其实都是私人意气用事，并非社会公理，而免役法只是其中的一个方面罢了。等到神宗去世，司马光当政时，首先取消募役法，恢复差役法。然而，此前攻击新法最用力的范纯仁此时却说差役这件事要反复讨论，不然的话，有可能滋生为百姓的祸害。在这之前把让老百姓服差役比作丝麻五谷的苏轼又特别指出差役可以募民代役而不可以征用，并说这是圣人复活都不能改变的，甚至说农民应差，官吏百般需索，对比募役，苦乐相差十倍。同是一个人，前后十余年，他的言论竟如此不同，完全相反，难道是开始对从未见过的改革感到害怕，而等到改革有了显著成效的时候，他才不得不从心里折服吗？