董必的魔掌将及苏轼，幸而出现了一个救星。据说董必的随员中，有一潭州人彭子民，甚得董必亲信。当董必要派人过海，彻治张中案时，彭对董流着眼泪劝道：“人人家都有子孙！”4
董必醒悟过来，只派一个小使臣过海。章惇的政府有流人不许占住官屋的命令，所以小使臣就根据这道行政命令，将苏轼父子逐出官舍，尚无其他诛求。
被逐出屋后，父子二人无地可居，偃息于城南南污池侧，桄榔林下者数日。东坡偃息桄榔林中，则曰：“尚有此身，付与造物，听其运转，流行坎止，无不可者。”5其超然自得，了无愠色如此。
后来，就在那儿买了一块空地，自己造屋。
朋友中特别是黎子云和符林两家子弟十余人，都来帮他运甓畚土；王介石更出全力相助。《与郑靖老书》说：“起屋一行，介石躬其劳辱，甚于家隶，然无丝发之求也。”
军使张中来观，也卷起袖子来帮做畚锸的工作。次月（五月），坐落城南的一栋简单的住屋就造好了。五间平房，一个龟头。苏轼名之曰“桄榔庵”，摘叶书铭，以记其处。
《与郑靖老书》述造屋事曰：
初赁官屋数间居之，既不可住，又不欲与官员相交涉。近买地起屋五间、一龟头，在南污池之侧，茂木之下，亦萧然可以杜门面壁少休也。但劳费窘迫耳。又《与程儒（天侔子）书》云：
赖十数学生助工作，躬泥水之役。愧之，不可言也。搬进新屋去后，家用器物皆无，邻里黎、符两家都从自己家中用的分点出来送给他们。苏轼《和陶和刘柴桑》诗说：
万劫互起灭，百年一踟躇。漂流四十年，今乃言卜居。且喜天壤间，一席亦吾庐。…………苏轼这一席之庐，据他与程秀才书简说：
新居在军城南，极湫隘，粗有竹树，烟雨濛晦，真蜑坞獠洞也。新居墙之东北，有一树老楮，枝叶旺长，遮挡眼界。苏轼有意将它伐去，细思“孤根信微陋，生理有倚伏”（诗：《宥老楮》），终于不忍砍此大自然中的同一生物。
住定后，又雇了三个蓬头的当地人，整治出一个菜园来，自己种些韮菜、黄菘；西边掘个粪坑，储积水肥；东边开个水源，用以浇菜。苏轼说：“人间无正味，美好出艰难。”亲手种出来的东西，总是好吃的。不过，自种蔬菜，眼看它慢慢长大起来，“未忍便烹煮，绕观日百回”，又舍不得割来吃了。（《和陶西田获旱稻》及《和陶下潠田舍获》诗）
七月，苏轼才知道老弟再徙循州的消息。循距惠州七百里，荒僻寥落，言语不通，饮食无有，而且从惠州到龙川的那条水路非常狭隘，艰涩难行。这条路，苏迈、苏过都曾走过，所以苏轼立刻设法通知苏迈，令苏辙一家路过惠州时，挽留他家眷口就在白鹤山庄住下，一切有迈可以照顾。
苏辙于六月间自海康启程，冒大暑水陆行数百里，困惫不堪，就接受老兄的安排，将家眷留在惠州，独携幼子苏远，葛衫布被，乘一叶小舟，秋八月到了循州贬所，住于龙川城东之圣寿僧舍。
也许由于新来乍到，找不到信使之便，直到九月十五，苏轼还得不到老弟一点讯息，心里忧虑不堪，只好端策问卦，用揲蓍古法，卜得“遇涣之内”：三爻初六变为中孚，兑上巽下，信发于中，谓之中孚；中孚之九二变为益，震下巽上，损上益下，故谓之益；益之六三变为家人，离下巽上，正一家而天下定。中孚有至诚之意；益卦虽是风雷动象，示播迁不宁，但有增足之益；家人卦有天伦安和之意。苏轼取文辞为断，自信对于此卦，研考精详，决不会错，心里大为安定。6
但是，朝中大局如此，兄弟两人，各困一隅，杀机四伏，皆是听凭宰割的命运，岂是经历一场播迁就能安然无事的？苏轼“粗闻新政”，不能不心如挂钩之鱼，惶恐不安。九月底，往游天庆观，谒拜北极真圣，祈神指示余生的吉凶祸福，求了一支签，签词曰：
道以信为合，法以智为先。三者不相离，寿命已得延。苏轼细绎签词的意思，“悚然若有所得”7。
苏轼这时候的惶恐，并非无端而至。因为蹇序辰等编纂的有关元祐朝臣的章奏文书，经过搜集和悬赏征求，甚少遗漏，共成一百四十三帙；形式上呈经皇帝过目后，他们正在一篇一篇地审阅，凡是涉及更改熙丰法制或文字可以罗织者，立即加以惩处，因此得罪的人，已有数千之多。