霜风渐欲作重阳，熠熠溪边野菊黄。久废山行疲荦确，尚能村醉舞淋浪。独眠林下梦魂好，回首人间忧患长。杀马毁车从此逝，子来何处问行藏。苏轼后来回忆在杭州所受的委屈，寄同事周邠诗说：“西湖三载与君同，马入尘埃鹤入笼。”心里的挣扎之苦，情见于辞。
幸而任期即将届满，苏轼因弟在济南，所以上章朝廷，请求派个山东的差使，图个近便。熙宁七年九月，告下：“苏轼以太常博士直史馆权知密州军州事。”苏轼如愿以偿，到任谢表中，有“携孥上国，请郡东方。自惟何幸，动获所求”的感激之辞。
苏轼在杭三年，他的幼子过（叔党）是熙宁五年（1072）在杭州出生的，这时候，他已有三个儿子了。后来与他同度患难的爱妾朝云，则于今年进入苏家之门，她还只是个十二岁的垂髫少女。
从应天府任上调来杭州的杨绘，字元素，四川绵竹人。神宗朝为御史中丞，极得皇上眷顾，将有大用，与滕元发二人联合攻击宰相曾公亮，事机不密，公亮上章先辩，神宗自此不悦，后又极论新法，被曾布责难，遂遭外放。他是一个聪明活泼，极好醇酒妇人，才子型的人物。七月到任，九月朝廷告下，苏轼又将从杭州赴密，相处的时间很短，但是即在这个短短的时间内，游宴不绝。至苏轼新职发表，杨太守更一再饯别于中和堂和湖上。《东坡乐府》中有一连串和杨元素的歌词，皆是筵边的迭唱，如“和杨元素时移守密州”的《南乡子》：
东武望余杭，云海天涯两渺茫。何日功成名遂了，还乡。醉笑陪公三万场。不用诉离觞，痛饮从来别有肠。今夜送归灯火冷，河塘。堕泪羊公却姓杨。又如重阳节日作《浣溪纱》词说：“可恨相逢能几日，不知重会是何年。”两人的交好，与一片索寞的离情，处处可见。
苏轼将行，于九月二十日往别西湖南北二山中的道友，其实亦是与西湖告别的最后一游。苏轼自己说，他有一种神秘的感觉，自来西湖，每到之处，常常觉得这个地方，从前都曾来过，印象犹很清晰，他归之为前生旧游的记忆。《和张子野见寄三绝句》中，特有一首《过旧游》诗说：
前生我已到杭州，到处长如到旧游。更欲洞霄为隐吏，一庵闲地且相留。又在密州时有《答钱塘主簿陈师仲书》云：
一岁率常四五梦至西湖上，此殆世俗所谓前缘者。在杭州尝游寿星寺，入门便悟曾到，能言其院后堂殿山石处。……何薳《春渚纪闻》有一则曰：西湖寿星寺老僧则廉说，苏轼做杭州通判时，始与参寥同登方丈，就对他说：“某平生未尝到此，而眼前所见，都如素所经历的一样，自此上至忏堂，当有九十二级。”派人去数，果如其言，轼便语参寥道：“某前生，此山僧也。今日寺僧，皆吾法属。”
后来苏轼每至该寺，就解衣般礴，久而始去。其时，则廉还是一个沙弥，常常在旁伺候，炎夏天热，苏轼来时，就脱光上衣，在竹荫下袒露乘凉，看见背上，有七粒黑痣，如星斗状，世人都不得见。
《咸淳临安志》：寿星院在葛岭下，智果寺侧，后晋天福八年（943）所建，有寒碧轩、此君轩等建筑，苏轼皆有诗。与陈襄书中称之为“寿圣”，也许是旧名，不足深考。不过苏轼第一次在杭州时，还未与於潜诗僧参寥相识，其同行相语者，必是另一和尚，传闻小误而已。
杨绘有事于湖州，与苏轼同舟离杭。张先、陈舜俞约苏轼同访湖州太守李常，亦与偕行。
常字公择，建昌人，少时读书于庐山白石僧舍，手自抄书，几至两目尽盲，既登进士第，将他手抄书九千卷，庋藏老家，苏轼为作《李氏山房记》。熙宁初，任秘阁校理，出知地方，不脱学人从政的本色。
他们一大堆毫无政治意味的朋友，相聚湖州，欢宴几无虚日。李常好酒，又适逢生子做三朝，大会宾客，分赠洗儿钱和玉果，苏轼开他玩笑道：“……犀钱玉果，利市平分沾四座；多谢无功，此事如何到得侬。”（《减字木兰花》）又与周开祖（邠）书云：
……寻自杭至吴兴见公择（李常），而元素（杨绘）、子野（张先）、孝叔（刘述）、令举（陈舜俞）皆在湖，燕集甚盛，深以开祖不在坐为恨。这六个朋友连日欢聚，以歌词名满天下的张先，时已八五高龄，兴致甚好，赋《定风波》令，有“见说贤人聚吴分，试问。也应傍有老人星”句，谓之曰“六客词”。