兄去此后，恐寓行衙，亦非久安之计，意欲结茅水东山，但未有佳处，当徐择尔。令长子迈来此指射差遣，因挈小儿子一房来，次子迨且令设法赴举也。二月间，苏轼找到了归善县城东面的白鹤峰上一块数亩大的空地，面临东江，景色甚美，就将它买下来了。
白鹤峰紧靠江滨，沿江筑城，就利用此山深入水中的石脚及山壁峭拔之地，筑为城址。当筑城时取用山土，刨平了一段峰顶，苏轼买的就是这方空地。故老传闻该地旧有白鹤观，现在已废。
白鹤峰头，只此一方平地，四面山势陡下，山上只有一两户人家，房子都低于该地。地形左右稍广，而前后则较狭隘。
苏轼按地形，打算造屋两进；前面小屋三间，作为门房，中间隔个庭院，可以种植花木；第二进为堂三间，拟题为“德有邻堂”；宅地左侧较为宽阔，拟造居室、庖厨、厕所等；在此后面，造为书室，拟题名为“思无邪斋”；周以廊庑，共计为屋二十间。
建造图样粗定，就托人到河源去找木匠作头王皋来，估计斫木陶瓦的数量，仍叫一个姓蒋的工头在河源购买木料。当时在惠州，要找木匠，似乎也不甚易，因为苏轼有一封给博罗县令林抃（天和）的信说：“丰陆数木匠，请假暂归，多日不至，敢烦指挥与押送来，为幸。”木匠弃工不顾，居然要劳动县太爷拘送，其难可知。
后来，他又派苏过到河源去，亲访县令冯祖仁，督促蒋亲31斫木，忙了一个多月。
其时，与南华重辩书说：“行馆僧舍，皆非久居地，已置圃筑室，为苟完之计。方斫木陶瓦，其成，当在冬中也。”
六月间，苏迈已经得授韶州的仁化县令，即将挈家南来。其时，苏轼从前在湖州时的僚友陈师锡，又派遣专差前来探望，复书中述说他的近况道：
……轼谪居粗遣，长子已授仁化令，今挈家来矣。已买地结茅，为终焉之计。独未甃墓耳，行亦当作。杜门绝念，犹治少饮食，欲于适口。近又丧一庖婢，乃悟此事，亦有定分，遂不复择，脱粟连毛，遇辄尽之尔。……苏轼是绍圣元年（1094）十月初二到惠州的，被招待暂寓合江楼，住了六天，就搬到嘉祐寺去了。在嘉祐寺住到二年的三月十九，因程之才的好意，复迁于合江楼，住了一年零一个月。至三年四月二十日，他们又不得不再搬回嘉祐寺去住，与重辩书说：“不欲久留，占行衙，法不得久居。”这是一个原因，次则苏轼既欲水东造屋，每日要去监工，中隔大江，其时船桥尚未造好，往来甚为不便，所以程之才去后两个月，他就搬回嘉祐寺。这样搬来搬去，不得定居，竟如水上的飘蓬一样，只望白鹤峰的新居早日落成，则可“庶几其少安乎”！作《迁居》诗曰：
前年家水东，回首夕阳丽。去年家水西，湿面春雨细。东西两无择，缘尽我辄逝。今年复东徙，旧馆聊一憩。已买白鹤峰，规作终老计。长江在北户，雪浪舞吾砌。青山满墙头，?鬌几云髻。虽惭抱朴子，金鼎陋蝉蜕。犹贤柳柳州，庙俎荐丹荔。吾生本无待，俯仰了此世。念念自成劫，尘尘各有际。下观生物息，相吹等蚊蚋。此诗眼界澄明，意境超脱，实则于虚无中透着悲怆。
佛说念念成劫。时光过得那么快，俯仰之间，就过完一辈子。人也不过是这个世界中的万物之一，物虽各有分际，但人如超越世界万有之上，下观生物之以息相吹，则人在这个世界里呼吸，与春天田野中移动的气流（野马）、大地上飞扬的尘埃、蚊蚋之生息于世，还不都是一样。32
造屋的工程，进行得还算顺利，将近过年时候，已经计算得出完工的日子。新居之西，有两家近邻：一家是林姓的老媪，以酿酒为业；一家是老秀才翟逢亨，很有一点学问。苏轼有天晚上，走过翟家门口，就进去拜访了他。作诗二首，其一云：
林行婆家初闭户，翟夫子舍尚留关。连娟缺月黄昏后，缥缈新居紫翠间。系闷岂无罗带水，割愁还有剑铓山。中原北望无归日，邻火村舂自往还。山上没有水源，饮水须到江边汲取，甚是不便。苏轼决定在新居里凿井一口，约这两家邻居，可来共享此井。新居的庭院需要种点花木，写信向程天侔要，书曰：
白鹤峰新居成，从天侔求数色果木，太大则难活，太小则老人不能待，当酌中者。又须土碪稍大，不伤根者。柑、橘、柚、荔枝、杨梅、枇杷、松、柏、含笑、栀子，谩写此数品，不必皆有。仍告书，记其东西33。绍圣三年的下半年间，苏轼在惠州的几个好朋友，纷纷都要走了，如惠州守詹范罢任（方子容来代），章楶也罢了广州任（王古来代），还有循州太守周彦质，在那两年，与苏轼书问无虚日，忽又罢归，依依不舍，特来惠州相伴半个月才走。初是朝云新丧，还赖朋友之乐，聊得排遣；不料一倏时又风流云散，这孤独而又倔强的老人，心情不免落寞，《和陶时运四首》之一说：