越州太守钱勰（穆夫），几于同时被召，从班再知开封，苏轼作《临江仙》送他先行。对于仕宦生涯的奔走四方，他深有感慨。如言：
一别都门三改火，天涯踏尽红尘。依然一笑作春温，无波真古井，有节是秋筠。惆怅孤帆连夜发，送行淡月微云。尊前不用翠眉颦，人生如逆旅，我亦是行人。即将离去杭州的苏轼，只有尽量抽出时间来，山南山北地跑，身在春日二、三月的西湖风光里，山寺闻钟，湖边策马，消解无可奈何的离情。苏轼胸中久已蕴积一个极大的愿望，追寻白乐天所能得到的悠游林下的那个旧梦，忽又在心廊回荡起来。
当元祐元年（1086）九月，苏辙得除起居郎，兄弟同侍皇帝迩英阁读书时，苏轼就曾有过这个想望，留着“子由服侍娘娘”，自认“定似香山老居士，世缘终浅道根深”。希望就可抽身退出这个现实政治的圈子，其时，距他起复还朝，还不满一年，而且正在扶摇直上青云的时期，他已抱有怀退之想，“世缘终浅”，苏轼自知他终究不合是一个富贵场中的人物。
苏轼在杭州，曾遇善于看相的程杰，作诗为赠，也说：
书中苦觅元非诀，醉里微言却近真。我似乐天君记取，华颠赏遍洛阳春。白乐天做过杭州和苏州两地刺史，后以秘书监召迁刑部侍郎，其后遂以刑部尚书致仕。宦游三十年，退居洛阳，疏沼种树，构石筑楼于香山，凿八节滩，自号“醉吟先生”，与和尚结香火社，文酒自娱者二十年，以七十五高龄逝世。
苏轼非常羡慕白乐天这“水畔竹篱边”的闲居生活。现在他从杭州太守召还，行年五十六岁，倘能及此告退，如与乐天一样能活到七十五岁，则也一样可有二十年的闲居之福。在这美丽的幻想里，苏轼自言不如乐天者，他还有个樊素，名花伴老，然而，苏轼岂不自有一个深爱的朝云？
离杭三日前，往别西湖南北山诸道人，下天竺的惠净和尚赠他一方丑石，作三绝句，诗题也说：“余去杭十六年而复来，留二年而去，平日自觉出处老少，粗似乐天，虽才名相远，而安分寡求，亦庶几焉。”诗之一曰：
出处依稀似乐天，敢将衰朽较前贤。便从洛社休官去，犹有闲居二十年。善相的程杰似乎也没能看出他以后还有那么大的风波，还有那么一段九死一生的艰危。即以目前而论，好不容易逃出九陌红尘的火坑，到西湖边来透了一口闷气，如今又得硬着头皮回去，能不能够再逃出来，实在也很难说，虽然他自己似乎还很乐观。
杭州的同僚，在西湖上设宴饯行，刘季孙有诗，马瑊有词——赋《木兰花令》送别，苏轼各有和作。兹举中玉词，以见僚友对他的感情：
来时吴会犹残暑，去日武林春已暮。欲知遗爱感人深，洒泪多于江上雨。欢情未举眉先聚，别酒多斟君莫诉。从今宁忍看西湖，抬眼尽成肠断处。苏轼自别西湖，不论何时何地，惓惓难忘。不幸的是此别以后，果然再也无缘重到杭州。
苏轼决心不愿留京供职，所以单身一人上京，一面上章力辞，只望途中就能得到朝廷别给一郡的恩诏，他就可避过汴京城中无谓的麻烦。
元祐六年（1091）三月初九，苏轼自杭州西郊下塘乘船离杭，因为这次水灾以苏州和湖州的情况最严重，所以他要从水路绕道灾区，亲自勘察一个明白。于是决定先赴湖州，溯吴淞江，再至苏州。
八 破琴之梦
舟行途中，苏轼整日蜷曲在船舱里，耳边只是单调的橹声，夹着船夫的吆喝，怀着满腔心事，如波涛起伏，动荡不宁。
三月十八日夜，船泊吴淞江。五更时，苏轼梦见仲殊长老，在弹一张十三弦的破琴，弦音非常怪异。苏轼甚为诧异，便问仲殊：“琴，何为十三弦？”
仲殊口诵一诗代答：
度数形名岂偶然，破琴今有十三弦。此生若遇邢和璞，方信秦筝是响泉。梦中，对此诗意，好像还能了解似的。醒后，这四句诗也记得很清楚，不过意思转为模糊。饭后午睡，不料竟又重复这一梦境，心里觉得奇怪，就取过纸笔将它记录下来，预备到苏州与仲殊见面时给他看。不料尚未写毕，殊老已经扣舷求见。其时，距离苏州，还有五里路程。
这个“破琴之梦”，实非无自而至。
苏轼在船中，长日无事，不免回想往事，觉得刘挚这个人，最最不可思议。王安石当国时期，他原是个不向权势低头的硬汉；而今，一旦执政，忽然就要援引小人，党同伐异，无所不为，竟然完全变为另一个人了。