我视此邦，如洙如沂。邦人劝我，老矣安归。自我幽独，倚门或挥。岂无亲友，云散莫追。苏轼《和陶贫士七首》诗引说：“余迁惠州一年，衣食渐窘，重九伊迩，樽俎萧然，乃和渊明《贫士》七篇，以寄许下、高安、宜兴诸子侄，并令过同作。”34其实这时候，虽说贫穷，还不算真到捉襟见肘的地步，作《和陶乞食诗》时，还说：“幸有余薪米，养此老不才。”但到白鹤新居将要完工，他那一点微薄的积蓄，却已真个用光，到了囊空如洗的地步了。苏轼用钱，向来撒泼，起先一副热心，做慈善事业，毫不顾虑自己。如《寄罗浮重辩书》说：
近日营一居止，苟完而已。……久忝侍从，囊中薄有余赀，深恐书生薄福，难蓄此物。到此已来，收葬暴骨，助修两桥，施药造屋，务散此物，以消尘障。今则索然，仅存朝暮，渐觉此身轻安矣。时间过得快，钱花得更快，一旦生活问题逼来时，苏轼只得动脑筋到他那宁远军节度副使的俸料，欲将政府发给的折支券请领实物，然后变卖。责官俸料，本来不多，经过衙门克扣，市场折价，大概只能换到三成的钱，而且申请了十八个月，还拿不到手。苏轼没办法，写信托广守王古帮忙，书言：“某为起宅子，用六七百千，囊为一空，旦夕之忧也。有一折支券，在市舶许节推处托勘请。自前年五月请，不得，至今云：未有折支物。此在漕司一指挥尔，告为一言于志康也。”志康，孙勰字，是苏轼老友孙介夫之子，也是他省试的门生。
苏轼的经济情况，非到实在窘迫万分时，他不会在意这点责官俸料的折支券。然而到他在意时，却领不到货，变不了钱。
得到消息，苏迈已带了自己和小弟过的家眷，到了虔州，预备从虔州换乘小船，由龙南江到方口出陆，至循州溯流而来惠州，苏轼派过前往虔州迎接。
至是（绍圣四年二月，1097），白鹤峰新居，指日可以落成了。这座山居，虽然限于经济能力，不能算是很好的建筑，但其一砖一瓦，一花一木，都是苏轼自己设计经营的，也着实不同凡俗。
从白鹤峰下，历级而上，门下有亲种的两株柑橘，此时花犹盛开，屋内所种古荔，绿叶铺满墙头。穿过前庑三间平房，则是一大院落，花木交错，清芬扑鼻。径升石阶，就是“德有邻堂”，这是正厅，它的特点是特别宽阔和高敞，所以惠州新守方子容参观过后，作诗赞美说：“遥瞻广厦惊凡目，自是中台运巧心。”
左边是一组列的居室，绕以竹篱，以分内外，篱间杂栽花草，颇饶幽趣。右侧为“思无邪斋”，是苏轼的书房。书房的一头，开一大窗，则江山数百里间的景色，朝云夕霭，水光岚翠，都纷纷延入屋中，成为与书斋不可分割的一部分。
书斋后面，有道后门，开门就是两家贴邻——酿酒的林行婆和老秀才翟逢亨家。
绍圣四年二月十四日，老人先自嘉祐寺迁入白鹤峰新居，等待子媳孙儿的到来。陶渊明《时运》诗：“斯晨斯夕，言息其庐。”老人环顾新居，觉得此言似乎为他今日所发，心里很高兴：“长子迈与余别三年矣，挈携诸孙，万里远至，老朽忧患之余，不能无欣然。”拈笔和陶《时运》四首，录一：
旦朝丁丁，谁款我庐。子孙远至，笑语纷如。翦?垂髫，覆此匏壶。三年一梦，乃复见余。闰二月初，苏迈、苏过带领两房家小，到了惠州。苏迈的大儿子箪（楚老），已是二十岁的青年了；次子符（仲虎），就是苏轼所谓“梦中时见作诗孙”的孙儿，已十七八岁；还有过的夫人和长子籥都一起来了。白鹤峰上，笑语盈室，一倏时热闹非凡。患难虽然未尽，而家人得以重聚，竟然觉得过往三年，真如一梦。老人久已想望的“明年更有味，怀抱带诸孙”的情味，忽然实现，怎不大为欢畅！
只是苏迈本来已授仁化令，现在却发生了变故。因为仁化辖属韶州，而韶州与惠州为邻，现行朝廷新制，责官的亲属，不得在责地的邻邑做官，苏迈尚未到任，即已罢去。苏轼与博罗县令林抃（天和）书曰：
示谕幼累已到，诚流寓中一喜事。然老稚纷纷，口众食贫，向之孤寂，未必不佳也，可以一笑。又稍后致王古（敏仲）书，则曰：
自幼累到后，诸孙患病，纷纷少暇，不若向时之阒然也。小儿授仁化，又碍新制不得赴，盖惠、韶亦邻州也。食口艰多，不知所为计。……因为“罪在不赦”，所以悉索敝赋，在白鹤峰头营造一间风雨茅庐，儿媳孙子都来了，一时平添几多食口，纵使手头非常拮据，不知为计，但是想到一室春温、笑语充盈的生活，对于孤独的老人来说，精神上的欢快，几将是无可比拟的收获。