……朕初即位，政出权臣。引轼兄弟，以为己助。自谓得计，罔有悛心。忘国大恩，敢肆怨诽。若讥朕过失，何所不容？乃代予言，诬诋圣考。乖父子之恩，害君臣之义。在于行路，犹不戴天；顾视士民，复何面目？以至交通阉寺，矜诧幸恩；市井不为，缙绅共耻。尚屈彝典，止从降黜。今言者谓其指斥宗庙，罪大罚轻。国有常刑，朕非可赦。宥尔万死，窜之远方。虽轼辩足以饰非，言足以惑众。自绝君亲，又将奚憝？保尔余息，毋重后愆。可责授宁远军节度副使，惠州安置。苏轼一行，抵达当涂县时，责授建昌军司马的告词才刚下来。在苏轼看来，一切都是任人摆布的情势，无所谓轻重好坏；英州（广东英德）、惠州（广东惠州），皆在广南，都是大庾岭外，心里毫无计较。只是万里投荒，他没有理由要拖累儿辈，事实上也无法挈带全家同去，所以坚决主张，他要独自一人前往贬所。
他的儿媳们绝对不肯让这六十老翁，在无人照顾之下，独行万里，到那完全陌生的炎荒去生活，大家环绕着他涕泣求行。最后决定，他只带幼子苏过一人同去，叫次子苏迨带领二、三两房眷口到宜兴去，跟大哥苏迈同居。是年，苏过二十三岁，已有侍父远行的能力了。
六月二十五日，苏轼在当涂旅次，亲书六篇自作的赋，赠别次子。本集《书六赋后》云：
予中子迨，本相从英州。舟行已至姑熟，而予道贬建昌军司马，惠州安置。不可复以家行，独与少子过往，而使迨以家归阳羡，从长子迈居。迨好学，知为楚词，有世外奇志，故书此六赋，以赠其行。绍圣元年六月二十五日。苏轼一向保持朴素的家风，在京师时，家伎不过数人。这与当时士大夫们邸宅里檀歌不息、美女如云的豪侈风气比起来，真是十分寒碜。且自外放颍、扬以来，本来准备退休，已先陆续遣去数人。到这时候，还留在家里的，不过寥寥二三人而已。
姬妾，原是富贵荣华的附件，没有与家主共患难、同死生的义务，何况此去是南蛮瘴毒之地。所以，苏轼要“开阁放伎”，各替她们安排一个去处。
唯有朝云，她坚决不肯在这患难之中，离弃家主于不顾，尤其是王夫人已经过世了，这孤独的老翁，岂能没有一个妇人照顾他的起居饮食？所以，她热情而又果敢地表示，一定要随侍苏轼南行。
这种风义，这份热情，使苏轼大为感动。后在惠州，读《白乐天集》，想到乐天那么热爱樱桃小口的樊素，但最后，樊素还是离开了老病的乐天，远走高飞。遂作《朝云诗》一章，记其感念之情。诗前有引，曰：
世谓乐天有鬻骆马，放杨柳枝词，嘉其主老病不忍去也。然梦得有诗云：“春尽絮飞留不住，随风好去落谁家。”乐天亦云：“病与乐天相伴住，春随樊子一时归。”则是樊素竟去也。予家有数妾，四五年相继辞去，独朝云者随予南迁。因读《乐天集》，戏作此诗。朝云，姓王氏，钱唐人，尝有子曰幹儿，未期而夭云。关于白乐天的放伎卖马，是这样的：
乐天于唐大和三年（829）五十八岁时归洛阳，即纳樊素为家伎，侍乐天者凡十年。至开成四年（839）十月，老年的乐天，得了风痹症，体弱目眩，左足不支。陈寅恪论其事曰：“既然生理的不可能有伎乐，患了风痹，当然遣伎。”类推，足力不支，当然卖马。
不料樊素临别依依，辞曰：“素侍主十年，凡三千有六百日……”不忍遽去，卖骆马则曰：“五年花下醉骑行，临卖回头嘶一声。项藉顾骓犹解叹，乐天别骆岂无情。”就因这骆马回嘶，樊素陈辞，使乐天终于不忍割舍，作《不能忘情吟》二百五十五言，两俱留之。
但是明年三月作《春尽日宴罢感事独吟》曰：“病与乐天相伴住，春随樊子一时归。”则樊素毕竟还是去了。
而朝云则随侍苏轼万里投荒，同到一个完全陌生的地方去生活，使苏轼对这个红粉知己，不得不心许她与结发夫妻无异。希望将来能够同向三山仙去。诗曰：
不似杨枝别乐天，却如通德伴伶玄。阿奴络秀不同老，天女维摩总解禅。经卷药炉新活计，舞衫歌扇旧因缘。丹成逐我三山去，不作巫阳云雨仙。从当涂分手，苏迨等人遂去宜兴，苏轼与儿子过、朝云并二老婢，主仆五人，径向江州（江西）进发。4
传说苏轼侍妾，除朝云外，还有一个碧桃，也于此时亲自从南康送至江西都昌县安顿。苏轼还为她留题一诗：“鄱阳湖上都昌县，灯火楼台一万家。水隔南山人不渡，东风吹老碧桃花。”原诗石刻在县治内，《都昌县志》亦载其事。5