到了治平四年（1067年）九月授予他翰林学士，从此不再听到他辞谢的声音，那是因为他没有必须辞谢的理由了。在这之前，嘉祐六年（1061年），任命他知制诰，他也没有辞谢，而是接受下来。知制诰与翰林学士，相差多少呢？因此就说他前面轻慢，后面谦恭，是见利忘义，为什么这样深文周纳地编派他呢？
他所说的第三件事，是根据王安石主张坐着给皇上讲经，就说他要挟君王而自取名声。古代的三公，都是坐而论道，从汉朝到唐朝都没有废除过。自从宋太祖篡夺了周的天下，范质因为是前朝留用的官员，曾做过前朝的宰相，在宋太祖面前就很谦恭，怕有嫌疑，不敢就座，从此相沿成了习惯。皇上面前，不再有大臣的座位，大臣们开始以奴才自居，而忘了他们与皇帝是共同担负天职的。王安石请求恢复坐讲，不只是要效法古代，而且是合乎道理的。像这样就说是要挟君王博取名声，那么唐代以前就没有一个纯粹的大臣了。叶梦得的《石林燕语》说，熙宁初年，侍讲官中建议恢复坐着讲道的，有吕申公、王荆公、吴冲卿，同时，韩持国、刁景纯、胡宇夫都赞成吕申公他们的意见，而苏子容、龚鼎臣、周孟阳、王汾、刘攽、韩忠彦则认为，讲读官既然叫“侍”，意思就是侍奉天子，并不是以“道”为老师。于是，这个建议就被搁置了。在这件事中，主张坐讲的并非一个人，为什么只有王安石一个人被弹劾呢？而且，这件事已经被搁置，为什么仍然揪住他不放呢？在这之后的元祐（宋哲宗年号，1086—1094）初年，程颐为崇政殿说书，上疏极力要求在殿上坐讲，当时给事中顾临以为不可，于是，程颐又写信给太皇太后，批评顾临说的不对，甚至写了一千五百多字，这与王安石前后如出一辙，既然王安石是要挟君王博取名声，难道程颐就不是要挟君王博取名声吗？后来《通鉴纲目》只记载了程颐的《经筵讲读疏》，说是培养君王的德行，却不提坐讲一事，难道是因为当时吕诲攻击王安石太过分了，现在不得不为程颐遮掩一下吗？而且，从此以后，那些讲学的人再也没有人以坐讲来议论王安石了，难道是因为要替程颐遮掩，就连王安石也跟在他的后面减去罪名了吗？宋朝人对待是非太没有原则了。
他说的第四件事，是指他把正确的都揽在自己身上，错误的则引到君王身上。但自从新法施行以来，整个朝廷都把过错归到王安石身上，只有恶名没有美名，只有错误没有正确，如果说他掠美，不知这时有些什么美可掠，吕诲能指出王安石掠了哪些美吗？如果说他把怨恨都引到皇帝身上，那么众人所攻击的是新法，所怨恨的是王安石，不知有什么过错可以使人们怨恨皇帝，吕诲能指出具体的事来吗？
他说的第五件事是登州阿芸的案件。议论是从许遵开始的，王安石是主持此事的人。即使其中有一些过失，根据这一点也可以看出他的仁厚，吕海反而不怀好意地说他徇私报怨，试问这个案子中的人，哪个是王安石的私人关系，谁又是王安石所怨恨的呢？而且，这件事本来是很琐碎的一件事，却叫嚷不停，怎么不怕厌烦呢？
第六件事是把王安国的及第作为王安石的罪责。考察王氏家族的人登上进士榜的，宋真宗咸平三年（1000年）有王贯之，是王安石的从祖。祥符八年（1015年）有王益，是王安石的父亲。宋仁宗庆历二年（1042年）是王安石，六年（1046年）是王沆，是王安石的表弟。皇祐二年（1050年）有王安仁，是王安石的兄长。嘉祐六年（1061年）有王安礼，是王安石的弟弟。宋英宗治平四年（1067年）有王雱，是王安石的儿子。六十年中，王家祖孙父子兄弟中共有七个进士，可见，从科举取得功名是他们家固有的传统，区区此事，难道还需要有人暗中帮助才能得到吗？王安石兄弟在当时名气都很大，王安国与王安石是齐名的。在这之前曾有吴孝宗的《上张江东书》称道王安国的贤德，说想要举荐他的人很多。嘉祐五年（1060年）欧阳修有《送王平甫下第》诗，其中写道：“自惭知子不能荐，白首胡为侍从官。”王安国的贤德可想而知了。熙宁元年（1068年），王安国由韩绛、邵亢推荐，召试赐进士及第，这和王安石有什么关系呢？却因此被人诬蔑。幸亏王安石的儿子王雱提前一年已经中了进士，否则又为吕诲的弹劾增加一份资料了。
他说的第七件事是王安石专权，如果真像他说的那样，似乎有可以讨论的地方，然而考察《宋史》，说到当时中书省授予官职的文书，数目都决定不下来，皇上就问王安石，然而这是出自神宗的意思，不能说王安石专权。