这屋子从上年（绍圣三年）三月买地、设计构造起算，到本年三月迁入居住，足足费了一年时间，才告落成。其间苏过亲往河源督工斫木（那个时代，似乎还没有木行这个专业，买木料须往林坂现斫），而苏轼则日日上山，监工筑造，一砖一瓦，一花一木，尽是辛苦。终于有了属于自己的窝巢，老人在新居前后徘徊观瞻，心里非常高兴，三月二十九日，作诗记事道：
南岭过云开紫翠，北江飞雨送凄凉。酒醒梦回春尽日，闭门隐几坐烧香。门外橘花犹的皪，墙头荔子已斓斑。树暗草深人静处，卷帘欹枕卧看山。作过这诗后数日，苏轼被流放海南的大灾祸，就晴天霹雳似的突然爆发了。
他在这倾囊营造的白鹤峰新居里，住了不过两个月，就须仓皇地抛撇，除出梦中，不再重见。
陶渊明别无所嗜，就是欢喜喝点酒，他做彭泽令，令公田全都种秫，他说：“吾常得醉于酒，足矣。”他的夫人认为人总不能光喝酒，不吃饭，坚决反对。于是使二顷五十亩种秫，五十亩种秔。渊明在《自叙》一文中说：“公田之秫，足以为酒，故便求之，犹望一稔而逝。”不料他这县官从仲秋做到冬天，在官只有八十天，即自辞去。洪迈在其《容斋随笔》里，代他抱屈：“所谓秫秔，未尝颗粒到口。”苏轼起造白鹤峰新居，与陶渊明的种秫一样，也只住了两个多月。
苏轼是个怀乡病很重的人，从十年前起，“乡思”在他所作的诗文书简中，随时流露；但至身陷儋耳之日，他已不敢再存这样奢侈的愿望，只盼有一日能够重返白鹤新居，已是脱水火而登衽席的天惠。他在海南，就曾梦归白鹤山居，醒后，作《和陶还旧居诗》，但就只这么一点卑微的愿望，也达不到：
痿人常念起，夫我岂忘归。不敢梦故山，恐兴坟墓悲。生世本暂寓，此身念念非。鹅城（惠州）亦何有，偶拾鹤毳遗。穷鱼守故沼，聚沫犹相依。大儿当门户，时节供丁推。梦与邻翁言，悯默怜我衰。往来付造物，未用相招麾。十 又贬海外
哲宗赵煦，并不是个颟顸的人主，吃亏的只是年纪太轻。因为年轻，意气用事。多年来，心里抱怨宣仁太皇太后没有看重他皇帝这个地位，更痛恨元祐一朝所有宣仁起用的宰执大臣，没有把他放在眼里。一旦亲政，反元祐的绍述政策，就是从这个“意气用事”的基础上，产生出来的。
年纪太轻的第二个毛病是经验不足，见虑未定，缺乏成熟的理知能力来识别忠奸邪正，辨释治道之宜，只好听凭感情驱使，被小人所煽惑愚弄而不自知。吕大防、范纯仁等之贬窜岭外，出于左司谏张商英的一份肆无忌惮的奏言，奏文中竟说：“愿陛下无忘元祐时，章惇无忘汝州时，安焘无忘许昌时，李清臣、曾布无忘河阳时。”以皇帝与先朝放臣等量齐观，一例仇恨，以邦国大事为报仇复恨之具，真是成何体统！但是，年轻的皇帝竟然被他这番话激怒起来，发生一连串的远谪重惩。
哲宗在私德上，不是完全没有缺点，缺点在于好色。当他还只十四岁时，外间谣传，宫中在物色乳媪。禁中能够生子的男人，除他之外，没有别人，所以范祖禹上疏皇帝，力劝修身进德，一面又疏请太后，注意保护上躬。刘安世疏言，更为强硬：“尚未纳后，浸近女宠，此声流播，实损圣德。”当时，宣仁太皇太后当朝虽说“并无其事”，而事后知是皇帝宠幸的刘婕妤所为。
宋太祖定下的制度，大权集于君主，所以小人一定要挟持得住皇帝，才能潜移政权，为所欲为。章惇等先要煽动青年皇帝的怒火，然后才能将元祐群臣一网打尽。挟持皇帝这项工作，必须宫内宫外勾结进行，所以章惇、邢恕、董敦逸等人先与宦官郝随及刘友端勾结，由太监郝、刘牵线，与帝所宠爱的刘婕妤搭上关系，内外一体，将这少不更事的皇帝紧紧抓在手里。第一步放逐工作，做成功了，现在只差“斩草除根”，犹待努力。
不但如此，史言章惇竟还导帝出宫微行。所谓微行者，引导皇帝出游，尝试民间的声色游乐。果然如此，则眷恋京师名伎李师师的其弟徽宗，也不过步武乃兄后尘。所异者，李师师艳名较盛而已。
刘婕妤之勾结章惇，是为了想当皇后，但顾忌朝议沮格；而章惇则需要禁中这个有力的帮手，包围皇帝。而且，凡是小人，心计必深，皇后孟氏是宣仁太后选择调教的人，万一将来她有预政之时，则元祐未必不复。譬如刈草，宫中隐伏着这株元祐的根，也必须同时拔除。