太皇太后召见，面问他：“何故屡入文字乞郡？”
苏轼具以病状为对，太后宣论：
“岂以台谏有言之故？你兄弟自来孤立，向来进用，皆是皇帝与老身主张，不因他人。今来但安心勿恤人言，不用更入文字求去。”
苏轼退朝后，深感太皇太后恩德高厚，外放一言，再难启齿，自知不容于人的真实原因，只是在于“宠禄过分，地势侵迫”所致，倘然仍踞高位，谤讪一定不绝。因此他改乞朝廷罢免他翰林学士的位置，别给京师里任何一个闲差，可望免为台谏攻击的目标。元祐三年三月下旬，上《乞罢学士除闲慢差遣札子》，剖析遭人攻讦的因由云：
臣退伏思念，顷自登州召还，至备员中书舍人以前，初无人言。只从参议役法，及蒙擢为学士后，便为朱光庭、王岩叟、贾易、韩川、赵挺之等攻击不已，以致罗织语言，巧加酝酿，谓之诽谤。未入试院，先言任意取人。虽蒙圣主知臣无罪，然臣窃自惟，盖缘臣赋性刚拙，议论不随，而宠禄过分，地势侵迫，故致纷纭，亦理之当然也。……苏轼但求给予一个秘书监、国子祭酒之类的闲官，俾资自保。札上，太皇太后只是“慰留”。
司马光逝世后，朝内群臣既自分别派系，人事纷争不已，而散在京外的那批熙丰之臣，蠢蠢欲动，不是恶意评骘朝廷的施政，就是从中挑拨离间，诡变无穷。
只爱谈禅，不喜接见士大夫的太平宰相吕公著，际此内外交迫的境况，自己则又既老且病，实在无法支应，屡请罢相。至元祐三年四月，获准解除实际政务，拜为司空同平章军国事，和文潞公一样，成为国家的元老。
相职的继任是以中书侍郎吕大防为尚书左仆射兼门下侍郎，以同知枢密院范纯仁为尚书右仆射兼中书侍郎。吕大防以不植党羽，立朝公正无私而被重用。范纯仁是范文正公（仲淹）的次子，字尧夫。他的政见不尽同于司马温公，看前述争差免役法和主张恢复青苗放款以济国用两事，可以概见。纯仁青年时代有个出名的“麦舟故事”。范文正公在睢阳，派尧夫到姑苏去取麦五百斛，回程路上，舟次丹阳，遇见父执石曼卿，问他来此已有多久。曼卿说：“我已来了两个月，原想将三具先人的灵柩运回西北去归葬，但是没处借钱。”尧夫就把麦子和船都送了他，自己骑马回去。到了家里，不敢对父亲说，直到文正问道：“在东吴见到故旧没有？”他才将遇见石曼卿的经过说了出来。文正便说：“那你何不就将麦舟送他。”尧夫才坦然道：“已经给他了。”其人品德之高，为人称道。58
宰相的更易，是何等重要的国家机密，所以必须先将学士召入翰林院，锁院，然后面授词头，撰麻公布。
学士因“撰麻”锁院，与试士不同。试士有预定的日程，一切可先准备；撰麻都是临时宣召，或全番或半番快行差员，分批往学士邸第“传宣”，须等各班快行分批到齐，则学士上马，穿朝服，戴高帽，众人簇拥入院。院内如别有直宿学士或直学士在，均须先行回避出去。当夜，依照宣论撰麻，撰就进呈，一面通报閤门宣赞舍人59，当晚由御史台閤门通报，明日“宣麻”60，则文武百僚明晨均须集合赴文德殿听宣。其郑重有如此。61
四月四日，苏轼被传锁宿禁中，中使宣召入对，内东门小殿帘中，传出除目。那是吕公著平章军国事；吕大防、范纯仁左右仆射，交他撰写“麻制”。苏轼承旨毕，太皇太后忽然说道：“官家在此。”
“适已起居（行礼）过了。”苏轼恪恭谨对。
“有一事要问内翰（宋称翰林学士），前年任何官职？”太后询问。
“汝州团练副使。”
“今为何官？”太后再问。
“备员翰林，充学士。”
“何以至此？”
“遭遇陛下。”
“不关老身事。”
“那必定出自官家。”
“亦不关官家事。”
“莫非是大臣论荐？”苏轼恭问。
“亦不关大臣事。”
苏轼大惊，郑重回道：“臣虽无状，必不别有干请。”
“久待要学士知道，”太后说，“此是神宗皇帝的遗意。神宗皇帝饮膳中常看文字，看得停箸不举时，内监们都知道定是苏轼写的什么。他又常常称道：奇才，奇才。不幸未及起用学士，就上仙了。”