魏泰的《临汉隐居诗话》中有一段记载：
熙宁庚戌年（熙宁三年，1070年）的冬天，王安石自参知政事拜为宰相，登门祝贺的人接连不断。王安石因为还没有谢恩，就谁都不见，只和我坐在西廊下的小阁中，交谈之间，忽然提笔在窗户上写道：“霜筠雪竹钟山寺，投老归欤寄此生。”放下笔，给我鞠了个躬，就回屋去了。
大概王安石平生进退的大关节他都能自己安排，其原因就在于他在很早的时候就想清楚了。他品德高尚，神态像云间的仙鹤一样，人世间的富贵在他看来就像身边的浮云，从来都不把它放在心上，而他又始终秉持知命不忧的大义，即使是道的兴废，他也相信是不能强求的。所以，他在当政之初就已怀有归隐田园的志向，以后只是一一验证他说过的那些话，这不就是所谓“出淤泥而不染”吗？黄山谷题王安石画像时说：“我曾经仔细观察他的风度，真的是视富贵如浮云，不沉溺在财利酒色之中，真是一代伟人啊。”陆象山则形容他：“英俊豪迈，超逸非凡，对于社会上流行的纵情淫乐的生活、追名逐利的习气，都绝不认可和接受，一副耿介有骨气的样子，庸俗的东西一丝一毫都不能浸染他的内心世界，洁白的操守像冰霜一样凛然，这就是他的品质。”又说：“王安石是盖世的英才，具有超绝世俗的操守，犹如山川的神灵一样精神焕发，不是哪个时代都能产生的。”我辈生在千年之后，读了他的书，想到他的为人，仍然有一种肃穆之感，就像《诗经》里说的，高山仰止，景行行止。虽不能至，心向往之。意思就是说，王安石像高山一样令人仰慕，像行动的准则一样给我们做出了榜样，虽然不能达到这种程度，可我们心里却一直向往着。然而，按照污秽的历史所记述的，王安石就是一个热衷于利禄的人，他的升官是因为诡诈，他的辞职是因为皇上疏远他，而他还想着千方百计向皇上献媚以图再起。如果是这样，黄山谷、陆象山的话不就都成了梦话吗？我对于诋毁新法的人顶多可怜他们没有见识，还是可以饶恕的，可是对于诋毁王安石人格的那些人，我每次一读到这里都怒发冲冠！
（考异十一）
各种杂史笔记类似《邵氏闻见录》这样的，往往都记录了王安石罢官后谋求再做宰相这样的事，如今已不屑于和他们辩驳，也不屑于在这里讲述了。
王安石从很小的时候就寓居江宁，所以他很喜欢江宁，他的《忆昨诗示诸外弟》写道：“想见江南多翠微，归心动荡不可抑。”看来，他少年时代就有这种想法了。神宗了解他的意愿，所以让他以使相的身份判江宁，于是他就终老在这里了。辞职后他每天在这里徜徉，借山水名胜自娱自乐，无拘无束，就像个山间野人。读他的诗词，几乎看不出来他曾经是个开创了千古以来不曾有过的惊天动地伟大事业的人。啊！欧阳修所说的用在哪里都很得当，至此更加让人坚信了。王安石晚年著《字说》一书，精心创作，而且很醉心于佛家和道家，对道的理解也更加深刻了。
元祐元年（1086年）四月，王安石在江宁去世。司马光在《与吕晦叔简》中说：
王安石的文章和节操过人之处很多，但他不大明白事理，又喜欢掩饰错误，结果导致了老实正直的人疏远他，谗邪奸佞的人却靠近他，败坏了许多规矩、法度，以至于弄到这个地步。如今正要开始纠正他的过失，革除他的弊端，不幸他却去世了，那些投机的小人一定会百般地诋毁他。我认为，朝廷应该特别用优厚的礼仪来对待他，来打击这种轻薄浮躁的风气，先想到了这些，马上就告诉您，不知晦叔以为如何？您也不必回信，朝廷上的努力申说就全靠您了。
于是，皇帝发表敕令，赠他“太傅”的称号，敕文是这么写的：
我仔细观察古代的文物，清楚地看到上天的意图，就在一个不寻常的大事件将要发生的时候，上天一定会造就稀世的人才出来，要让他的名声超过当时所有的人，他的学问贯通古今，才智足以使他抵达理想，言谈足以将他的思想传达给别人，瑰丽雄奇的文辞足以描述各种事物，卓越超绝的品行足以鼓动四面八方的人，如果用他来治理国家，在短短的一年之间就能风靡天下，使天下的习俗得到改变。由此来看，观文殿大学士守司空集禧观使王安石，年轻时读孔子、孟子的书，晚年以瞿昙、老聃为师，汇集了“六艺”的古代遗文，用自己的思想去评判；把历代各家对经典的解释视为糟粕，自己对经典自有新的解释。恰逢神宗想有一番作为，第一个就任用了他这个群贤中最突出的人。神宗对他深信不疑，这种君臣之间的感情古今都没有过。正需要他建功立业的时候，他却突然想要归隐山林。哪里有什么富贵如浮云啊，辞官就像丢掉鞋子一样，一点儿也不可惜。常和渔夫、樵夫争座位，却不使麋鹿惊慌失措。做官和退隐，都能从容不迫，儒雅可观。我刚刚开始掌管这个国家，先皇的去世仍让我哀痛悲伤。怀念您这样的三朝元老，您却远在长江以南。认真观察揣摩您的治国方略，仿佛看到您当年的风采。哪知道您去世的消息竟出现在我居丧期间。为什么没有长命百岁呢？我不禁为您落泪。啊，生与死，用与舍，谁能违背天意？赠您谥号，发布哀悼褒奖的文告，难道不应该由我承担吗？把师臣的爵位赐给您，来表示我对您的宠信，也给儒者增光。也许您在天有灵，希望能接受我的诏命，特别将“太傅”赠予您。