当苏轼到虔未久，即建中靖国元年之正月十四日，先已手书还政的向太后，忽崩于慈政殿。她是宋代三贤后之一，惜乎得年只有五十六岁。向太后之崩逝，使左相韩忠彦突然失却支持，右相曾布乘此开始跋扈起来，不像以前那样恭顺了。这是一个非常重要的关键，随后就发生曾布专政，绍述之说重炽的变局。
在章惇绝对报复的政策下，被流窜南荒诸人中，处分最重的，一是苏轼，一是刘安世（器之）。
刘安世三贬而至英州，章惇、蔡京又起同文馆狱，再徙梅州，几已遍历宋代甲令所载每一远恶州郡，而且两次阴谋刺杀，都未成功。至刘贵妃被立为后，章惇、蔡卞又提出宫内向外间寻觅乳媪那重旧案，诏令孙鼛将刘安世收囚在槛车里，命他亲自押赴京师。行未数驿，哲宗崩，徽宗即位，赦至而还。
这两个命不该绝的同难者，放还也在最后。所以，此时遂能相遇到虔州。
苏、刘二人，政治上不是同道，私人关系上也算不得是朋友。元祐初曾在中书省共事，但是两人处事态度不同，苏轼很不喜欢他，骂他“把上”（乡下佬）。
然而，时过境迁，现在他们同是北归的异乡人，虔州邂逅，便成了很好的旅伴。
同时，原任虔守的霍汉英，奉调赴太和听命，江公著（晦叔）来代。公著与苏轼在杭州同官时，以好茶出名，器之酒量甚豪，但自南迁，为避瘴毒，就全家戒酒。因此，轼作《次韵江晦叔兼呈器之》诗，一联是“归来又见颠茶陆，多病仍逢止酒陶”。
寒食节，与器之同游南塔寺寂照堂。器之甚好谈禅，但不喜欢游山。山中新笋出土，苏轼想上山吃笋，怕他不肯同去，骗说邀他同参玉版和尚。器之听说有禅可参，欣然从行。到了光孝寺的廉泉，先坐下来烧笋共食。
器之觉得笋味鲜美，便问：“此何名？”苏轼答曰：“名玉版。此老僧善说法，要令人得禅悦之味。”
器之这才恍然大悟，被苏轼骗了。苏轼大为高兴。全用禅语作诗曰：
丛林真百丈，法嗣有横枝。不怕石头路，来参玉版师。聊凭柏树子，与问箨龙儿。瓦砾犹能说，此君那不知。11三月中旬，始闻章惇被贬雷州司户参军的消息，苏轼为之惊叹累日。他怕被人误会，自然不能直接往慰他的家属，虽然惇子章援还是他的门生。想到黄箨的母亲是章惇的胞姊，所以立刻写寄《与黄师是书》：
子厚得雷，闻之惊叹弥日。海康地虽远，无瘴疠，舍弟居之一年，甚安稳。望以此开譬太夫人也。章惇到了雷州，第一件事，立刻要找个住处，但却遭到报应，当地百姓说：
“从前苏（轼）公到这儿来，租住民屋，章丞相几乎破了我们的家。现在概不租售。”12
苏轼于正月元宵节前到虔州，寄寓水南，等候赣江涨水通航。本地雇不到船，又只好访人到外县市去找。二月抵边，与苏坚书说：“某留虔州已四十日，虽得舟，犹在赣外，劳费百端。又到此长少卧病，幸而皆愈。仆卒死者六人，可骇。”他的“河鱼之疾”，没再说起，大约经过休息、治疗，已经好了。
继续等了快一个月，外雇的船才到。苏轼一家人便于三月二十四、二十五日间，与刘器之同发虔州，他们在此羁留已七十余日。
苏轼将离虔州，有《次韵江晦叔二首》之作，其一云：
钟鼓江南岸，归来梦自惊。浮云世事改，孤月此心明。雨已倾盆落，诗仍翻水成。二江争送客，木杪看桥横。苏轼历劫归来，最大的庆幸，是他平生一片刚直的孤忠，而今大白于世，一切诬蔑和猜忌的浮云已经吹散，则天上一轮孤月，也当为人所共见了。
称此诗“语意高妙”者很多，究竟只能看到有限的“文学的东坡”。王应麟经术湛深，是个学者，所以能跳出辞章之外，看得苏轼自明心志的大处，将“历史的苏轼”，举与司马光并论。《困学纪闻》曰：
“更无柳絮随风起，惟有葵花向日倾——见司马公之心。浮云世事改，孤月此心明——见东坡公之心。”又云：
“坡公晚年，所造深矣。”开船当天夜间，江水大涨，赣石三百里之险，一夕尽没。第二天，就到了庐陵。谢举廉来见，苏轼高兴地对他道：“舟行江涨，遂不知有赣石，此吾龙光诗谶也。”
盖指“竹中一滴曹溪水，涨起西江十八滩”13句。
此行与刘器之并船前进，甚不寂寞。苏轼佩服器之历劫不磨、临危不乱的精神力量，称之“铁人”；器之则对人道：“浮华豪习尽去，非昔日子瞻矣。”14