更有一天，他漫步走到定惠院东的土山边，在某家杂花满开的篱落间，忽然发现花丛中竟有一株海棠，在春风中嫣然含笑，使他非常诧异。苏轼当年，海棠是西蜀濯锦江独有的名卉，成都燕王宫碧鸡坊的海棠尤为繁盛，范石湖词所谓“碧鸡坊里花如屋，只为海棠，也合来西蜀”，别地向无此花，像黄州这样偏僻的地方，土人又不知此花的名贵，怎么会有呢？这样想看，不知不觉就从海棠花的溷落黄州，移情到自己的身世上来了。他好像做梦一样，以为一定是天上的鸿鹄把海棠花的种子从西蜀衔到了黄州，遂使这空谷佳人，落入江城瘴地里，自苦幽独了。不轻易伤感的苏轼，“忽逢绝艳照衰朽，叹息无言揩病目”。海棠的艳影，一一化作自己的身形，对此不免流露了天涯流落的悲哀。据说，日后苏轼常常书写这首“海棠”诗来送人，先后不下数十本之多，可见这首诗中蕴藏着他深邃的感情。
从陈州回去后的苏辙，立即依照兄弟商定的办法，赶忙结束南都的工作，办完交代，然后携同两房眷口，自南都登舟，泛汴泗，出淮扬，过金陵，溯皖江，然后泊舟九江，叫自家眷口就在九江等待，他则亲自护送嫂氏、侄子以及哥哥家其他眷属人等，仍循水路前往黄州。
苏轼计算着他们的行程，也忙着准备接眷。虽说家眷来了，可以不再寄寓庙宇，但他却担心偌大一份家口的生活负担，所以心里实在也很怕他们到来，与章惇书中，坦白说道：
黄州鱼稻薪炭颇贱，甚与穷者相宜。然轼平生未尝作活计，俸入所得，随手辄尽。而子由有七女，债负山积，贱累皆在渠处，未知何日到此。现寓僧舍，布衣蔬食，随僧一餐，差为简便，以此畏其到也。穷达得丧，粗了其理，但廪禄相绝，恐年载间，遂有饥寒之忧，不能不少念。……转眼已是榴花照眼的季节，消息传来，苏辙率领的一家人都已到了磁湖（今湖北大冶），但为巨风大浪所阻，只得停船稍待。苏轼追怀陈州之别，几已半年，兄弟俩又将在黄州重见，一切恍恍惚惚，如在梦中，作诗代简，倩人往迎：
惊尘急雪满貂裘，泪洒东风别宛丘。又向邯郸枕中见，却来云梦泽南州。暌离动作三年计，牵挽当为十日留。早晚青山映黄发，相看万事一时休。苏辙答诗说：“黄州不到六十里，白浪俄生百万重。自笑一生浑类此，可怜万事不由侬。”一番被命运播弄的感慨。两天后，听说风浪过去了，苏轼即于五月二十七日黎明，坐船到离黄州二十里地的市集巴河口去接他们。
坐在船上，细细欣赏晨光曦微中的江水，浩淼的水面上笼罩着蒙蒙烟雾，显出一片宁静，小舟轻盈前进，犹如划破千顷碧绿色的玻璃。置身在这样自由美好的天地里，禁不住想起去年在御史台狱囚房里的生活，“去年御史府，举动触四壁。幽幽百尺井，仰天无一席”。他就在这井底，战战兢兢过了一百多天——“余生复何幸，乐事有今日”。他可以和家人团聚了，他几乎愿意在这江城终老了。7
他曾有一个不切实际的空想，假使苏辙也愿意住到黄州来，他将设法筹点钱，把柯氏园买下来兄弟共居，这个构想虽然美好，但不是现在的能力所做得到的。家眷来了，他不得不弄个住处，遂于二十九日搬进临皋亭去住。
临皋亭在回车院中。回车院是公家建筑，为三司按临黄州时所居的官邸，本来不是一个被谴谪的罪官可以住得的。据苏轼于迁住临皋亭后与鄂守朱寿昌书：
已迁居江上临皋亭，酌江水饮之，皆公恩庇之余波。似是寿昌向有关方面代他关说，才弄到手的。但这房屋并不宽大，他又家口众多，住得非常拥挤。如同年夏，陈慥要到黄州来看他，他就曾为招待客人住宿，大伤脑筋，写信告陈说：“临皋虽有一室可憩从者，但西日可畏。承天（寺）极相近，或门前一大舸亦可居，到后相度。”要借僧舍，甚至是门前停泊的旧船来接待宾客，苏家房屋的迫促，实已到了捉襟见肘的地步。
临皋亭住屋虽然狭小，但是门外的风景却非常美。亭在江边水驿上，亭下八十余步便是大江，滔滔江水，自上游乱流西下，浪击江岸，涛声昼夜不绝。对岸就是樊口，景色幽美如画，苏轼闲常策杖江边，独自一人眺望天空渺渺的流云和江上起伏的浪涛，不能不使他感到天地何等寥廓，而人却这样的渺小与无助。
苏轼《与范子丰书》说：