一日，爱子王方病疽而死，荆公痛思之甚。招天下高僧，设七七四十九日斋醮，荐度亡灵，荆公亲自行香拜表。其日，第四十九日斋醮已完，漏下四鼓，荆公焚香送佛，忽然昏倒于拜毡之上。左右呼唤不醒。到五更，如梦初觉。口中道：“诧异！诧异！”左右扶进中门。吴国夫人命丫鬟接入内寝，问其缘故。荆公眼中垂泪道：“适才昏愦之时，恍恍忽忽到一个去处，如大官府之状，府门尚闭。见吾儿王方荷巨枷约重百斤，力殊不胜，蓬首垢面，流血满体，立于门外，对我哭诉其苦，道：‘阴司以儿父久居高位，不思行善，专一任性执拗，行青苗等新法，蠢国害民，怨气腾天，儿不幸阳禄先尽，受罪极重，非斋醮可解。父亲宜及蚤回头，休得贪恋富贵，……’说犹未毕，府中开门吆喝，惊醒回来。”夫人道：“‘宁可信其有，不可信其无。’妾亦闻外面人言籍籍，归怨相公。相公何不急流勇退？早去一日，也省了一日的咒署。”荆公从夫人之言，一连十来道表章，告病辞职。天子风闻外边公论，亦有厌倦之意，遂从其请，以使相判江宁府。故宋时，凡宰相解位，都要带个外任的职衔，到那地方资禄养老，不必管事。荆公想江宁乃金陵古迹之地，六朝帝王之都，江山秀丽，人物繁华，足可安居，甚是得意。夫人临行，尽出房中钗钏衣饰之类，及所藏宝玩，约数千金，布施各庵院寺观打醮焚香，以资亡儿王方冥福。择日辞朝起身，百官设饯送行。荆公托病，都不相见。府中有一亲吏，姓江名居，甚会答应。荆公只带此一人，与僮仆随家眷同行。
东京至金陵都有水路，荆公不用官船，微服而行，驾一小艇，由黄河溯流而下。将次开船，荆公唤江居及众僮仆分付：“我虽宰相，今已挂冠而归。凡一路马头歇船之处，有问我何姓何名何官何职，汝等但言过往游客，切莫对他说实话，恐惊动所在官府，前来迎送，或起夫防护，骚扰居民不便。若或泄漏风声，必是汝等需索地方常例，诈害民财。吾若知之，必皆重责。”众人都道：“谨领钧旨。”江居禀道：“相公白龙鱼服，隐姓潜名，倘或途中小辈不识高低，有毁谤相公者，何以处之？”荆公道：常言‘宰相腹中撑得船过’，从来人言不足恤。言吾善者，不足为喜；道吾恶者，不足为怒。只当耳边风过去便了，切莫揽事。”江居领命，并晓谕水手知悉。
自此水路无话。不觉二十余日，已到钟离地方。荆公原有痰火症，住在小舟多日，情怀抑郁，人症复发。思欲舍舟登陆，观看市井风景，少舒愁绪。分付管家道：“此去金陵不远，你可小心伏侍夫人家眷，从水路，由瓜步淮扬过江，我从陆路而来。约到金陵江口相会。”安石打发家眷开船，自己只带两个憧仆，并亲吏江居，主仆共是四人，登岸。只因水陆舟车扰，断送南来北往人。江居禀道：“相公陆行，必用脚力。还是拿钧帖到县驿取讨，还是自家用钱雇赁？”荆公道：“我分付在前，不许惊动官府，只自家雇赁便了。”江居道：“若自家雇赁，须要投个主家。”当下憧仆携了包裹，江居引荆公到一个经纪人家来。主人迎接上坐，问道：“客官要往那里去？”荆公道：“要在江宁，欲觅肩舆一乘，或骡或马三匹，即刻便行，”主人道：“如今不比当初，忙不得哩！”荆公道：“为何？”主人道：“一言难尽！自从拗相公当权，创立新法，伤财害民，户口逃散。虽留下几户穷民，只好奔走官差，那有空役等雇？况且民穷财尽，百姓餐餐不饱，没闲钱去养马骡。就有几人，也不勾差使。客官坐稳，我替你抓寻去。寻得下莫喜，寻不来莫怪；只是比往常一倍钱要两倍哩！”江居问道：“你说那拗柏公是谁？”主人道：“叫做王安石，闻说一双白眼睛。恶人自有恶相。”荆公垂下眼皮，叫江居莫管别人家闲事。主人去了多时，来回复道：“轿夫只许你两个，要三个也不能勾，没有替换，却要把四个人的夫钱雇他。马是没有，止寻得一头骡，一个叫驴。明日五鼓到我店里。客官将就去得时，可付些银子与他。”荆公听了前番许多恶话，不耐烦，巴不得走路，想道：“就是两个夫子，缓缓而行也罢。只是少一个头口，没奈何，把一匹与江居坐，那一匹，教他两个轮流坐罢。”分付江居，但凭主人定价，不要与他计较。江居把银子称付主人。