门人张耒，向在京师为著作郎兼史院检讨，在馆八年，苜蓿自甘，后擢起居舍人，现在正以直龙图阁知润州事。苏轼到扬州，张耒受官法限制，不能迎谒老师，特地挑选了两名兵士——王告和顾成，随从南行，沿途照料，一直护送到惠州。苏轼很得力于这两人，与文潜书有：
来兵王告者，极忠厚，方某流离道路时，告奉事无少懈。顾成亦极小心，可念。六月初七，阻风于金陵。初九，儿子们为遵亡母的遗言，再度恭奉阿弥陀佛像于金陵清凉寺，作水陆道场，祈求先灵冥福。佛事毕，苏迈一房眷口，先赴宜兴，部署一切。
金陵崇因禅院长老宗袭，新造一尊观世音菩萨像，妙相庄严，苏轼也往瞻拜，就在观音前许下一个心愿：“吾如北归，必将再过此地，当为大士作颂。”
续向当涂进发，际此流金铄石的溽暑时节，船上闷热不堪。苏轼忽然记起杭州中和堂的东南颊，“下瞰海门，洞视万里”。即使是三伏天，也常有萧然的清凉。而他现在所要去的前途则是炎荒的广南，这就使他作诗怀念“独有人间万里风”的杭州中和堂来了。
距当涂六十五里的慈湖夹，船被大风所阻，停了下来。这条水路，全是韩愈当年贬谪潮州时所走过的路径，韩诗中记述的地方情景，目前一点没有改变。苏轼闷在船舱中，也写下《慈湖夹阻风五首》，首先即说“我行都是退之诗，真有人家水半扉。……”，一申他那“异代同命”的寂寞之感。
这五首诗，看似平常记行写景之作，其实尽是苏轼此日虽身在苦难中，仍不失英迈自许的气概之作，如：“暴雨过云聊一快，未妨明月却当空”——政治的暴风雨可以摧残我于一时，而我本明月，无妨志节皎然于人世；“且并水村欹侧过，人间何处不巉岩”——世路艰难，何独岭外，只要小心应付，未尝不可逃过；“弱缆能争万里风”——六十老翁，万里行役，何惧之有。
人生的际遇，常有山穷水尽、绝处逢生的奇迹。五诗中的第二首，即是写此秘密的心愿：
此生归路愈茫然，无数青山水拍天。犹有小船来卖饼，喜闻墟落在山前。一个人被命运投弃于水天无际的荒江上，不知如何才能突破迷茫，找到出路。彷徨中，突然看到有卖饼的小船过来，知道村落就在山前，不能没有蓦然回到人间的喜悦。这短短二十八字，写出苏轼被蒙在命运的黑雾里，危疑震撼中，寻求一线生机的渴望。
苏轼躺在船头，卧看落月，船夫在叫：“风转向了！”于是他们就可以开船，继续上路了。
人生经历患难愈多，精神境界便自不同。如此次途中，与好友参寥书，苏轼但言：
某垂老再被严谴，皆愚自取，无足言者。事皆已往，譬之坠甑，无可追计。从来奉养陋薄，廪入虽微，亦可供粗粝；又子由分俸七千，迈将家大半，就食宜兴，既不失所外，何复挂心，实翛然此行也。已达江上，耳目清快，幸不深念。知识中有忧我者，以是语之。英州南北物皆有，某一饱之外，亦无所须。承问所干，感惧而已。“所干”，宋人的口语，意为“需要什么帮忙”。
另一方面，章惇、蔡卞执政的朝中，却是恨火方盛，力谋报复。王安石配享神宗庙廷了；安石的女婿蔡卞已奉命将《神宗实录》重写，以张商英为谏官，正在准备大肆罗织。五月，元丰间与蔡确、章惇、邢恕互相交结，人称四凶之一的黄履，又被召回朝来，开复了御史中丞的原职。章惇用这凶手的目的，就是为了报复仇怨，所以元祐旧臣，便无一得免了。
侍御史虞策再度发难，章惇、蔡卞等幕后支持，重议对苏轼的处分，以为罪大责轻，应该再降。最后的决定是：“苏轼，落左承议郎，责授建昌军司马，惠州安置，不得签书公事。”
其间，还有一个故事。
章惇初登相位，即慨叹道：“元祐初，司马光作相，用苏轼掌制，所以能鼓动四方，安得斯人而用之！”
有人推荐林希（子中），但他现任礼部侍郎，名位高于中书舍人。章惇立刻保证给予同省执政的地位，他就俯首听调了。自此，凡元祐名臣的贬黜制文，都出于林希的手笔。3
林希与苏轼为进士同年，素相厚善。元祐初，苏轼被擢起居舍人，曾推林希自代，因此得除记注官。后来又为杭州交代的前后任，平日诗筒书问，往来不绝。当苏轼进翰林院日，林希撰启致贺，有曰：“父子以文章名世，盖渊云司马之才；兄弟以方正决科，迈晁董公孙之学。”褒美到无以复加的地步。现在为利禄所诱，执笔草苏轼谪降惠州的告词，则丑诋不遗余力，如言：