取出来的赐物，是茶一斤，封题皆是御笔亲书，苏轼赶忙写了札子称谢，托他代为进呈。
说完这个故事，苏轼慨然言道：
“且教子由伏事娘娘，我小使头出来，自家门打一解。”37
元祐五年底，太皇太后两次面谕执政，要召苏轼还朝。翌年正月，就有召轼为吏部尚书的消息。
苏轼闻讯，大为惶惑，因为范袓禹上年曾经论荐，所以复函淳父说：
奉书不数，愧仰可知。辱手教，且审起居佳胜为慰。某凡百粗遣，闻天官之除，老病有加，那复堪此。即当力辞乞闲郡尔。侧聆大用，以快群望。未间，千万以时自重。不宣。同年二月，朝廷以刘挚为尚书右仆射兼中书侍郎、以苏辙为中大夫守尚书右丞。
太皇太后这次径擢苏辙居辅政之地的诏命，便没有以前几次那样顺利了，命下中书，右司谏杨康国拒不书读，奏曰：
辙之兄弟，谓其无文学则非也，蹈道则未也。其学乃学为仪秦者也，其文率务驰骋，好作为纵横捭阖，无安静理。陛下若悦苏辙文学，而用之不疑，是又用一王安石也。辙以文学自负，而刚狠好胜，则与安石无异。其言与反对派向来所说的无异，指三苏是苏秦、张仪的策士之学，毫无新鲜内容。章上，不报。改诏范祖禹书读行下。
太皇太后的旨意，虽然贯彻了，但苏氏弟兄之为朝臣侧目的情势，也益发深重了。
正月间，原拟召苏轼为吏部尚书，即前函所说的“天官之除”，后来既任命了苏辙为尚书右丞，兄弟同朝执政，总有不便。所以，二月二十八日诏下杭州，就改为以翰林学士承旨召还了。
苏辙对于尚书右丞这一新命，内则不敢超迁于老哥的前面，外则凛惧于同僚的忌嫉，连上四状，辞不接受。状言：
伏念臣幼无他师，学于先臣洵，而臣兄轼与臣皆学，艺业先成，每相训诱。其后不幸早孤，友爱备至，逮此成立，尝兄之力也。顷者，兄弟同立侍从，臣已自愧于心。今兹超迁，丞辖中台，与闻政事，而臣兄轼适自外召还，为吏部尚书，顾出臣下，复以臣故，移翰林承旨，臣之私意，实不遑安。况轼之为人，文学政事，过臣远甚，此自陛下所悉，臣不敢远慕古人，内举亲戚，无所回避。只乞寝臣新命，若得与兄轼同备从官，竭力图报，亦未必无补也。苏辙求与老哥一同退守侍从，使与现实政治权势，保持一个相当的距离，确实是个比较安全的处置。无奈太皇太后之重用苏辙、召还苏轼，用意本在牵制执政，所以仍然诏示不许。
苏轼在杭州奉诏，也立即奏请辞免翰林学士承旨，拜发了第一状。他的立场，亦是亲嫌理应回避，如言：
……窃睹邸报，臣弟辙已除尚书右丞。兄居禁林，弟为执政，在公朝既合回避，于私门实惧满盈……伏望除臣一郡，以息多言。将来接替知杭州事的，是苏轼的老友，与他同应开封举人试，在仕历上亦步亦趋的林希（子中）。他以天章阁待制知润州，调知杭州。苏轼很高兴林子中来接他的手，有许多地方未完的心愿，希望子中能来完成。
苏轼奉诏还朝，杭州是无法留恋的了。一向乐观的他，以为既有苏辙在朝辅政，而他的处境，太皇太后也很明白，只要表示坚定的心，请求再行外放，应该是没有问题的，所以他心里还很轻松。
不过，杭州的朋友，西湖的山水，即使是堤边的一草一木，行路的男女老幼，处处都似连系着感情的脉动，一时真不容易放开。所以，自有内召消息以来，苏轼湖上漫游的行脚，更加勤快了。
二月，杭州的天气，还是春寒料峭的时候，福建路转运判官曹辅来了，陪他雪中游湖。过些日子，龙山真觉院的瑞香花开了，他们又一同去赏花。
这瑞香花，有黄紫两种，有紫瓣而金边者，初产于庐山，后来广植于各处。据（咸淳）《临安志》：“东西马塍，瑞香最多，大者名锦熏笼，色香清远。”然而，这已是南宋时事，苏轼为守时，却以真觉院的瑞香花为最胜。轼诗篇首言：“幽香结浅紫，来自孤云岑。”可知这是紫色而传自庐山的那一种。
曹辅和其他坐客都说这不是瑞香，是紫丁香。苏轼笑子方不识：“公子眼花乱发，老夫鼻观先通。”连作三阕《西江月》，其第三阕专为瑞香辩证：
怪此花枝怨泣，托君诗句名通。凭将草木记吴风，继取相如云梦。点笔袖沾醉墨，谤花面有惭红。知君却是为情秾，怕见此花撩动。作为一个中国旧诗人，必须通识草木虫鱼之名，原非易事。现在插入这段闲话，实欲见出苏轼的性格，认真而又好胜，即使是这种细碎的花名之争，他既不肯含糊混同，而又那么恣肆地调侃他的朋友。