故事到了这儿，是不是看上去一切都特别美好？可接下来就出事了。
张廷玉自己先犯嘀咕了，他想起去年申请退休时，乾隆不但没答应，还说配享太庙的大臣就不该告老还乡。于是，张廷玉就开始担心，如今圣上倒是允许自己告老还乡了，那会不会就不让自己配享太庙了呢？接着，张廷玉就突然跑进宫中，一把鼻涕一把眼泪，非要乾隆给他写个字据，承诺哪怕自己告老还乡了，在他死后也仍然能配享太庙。
一个大臣，要当朝天子给自己立字据，这太过分了，有失体统。
乾隆考虑到多年的感情，还真就硬着头皮答应张廷玉了。你不是要字据吗？行，那朕就写首诗给你当字据：
造膝陈情乞一辞，动予矜恻动予悲。
先皇遗诏惟钦此，去国馀思或过之。
放心吧老张，父皇在遗诏里说好的事，朕一准儿答应你。
其实这时候，乾隆已经有些动怒了，可如果一切到此为止，余地是尚且还有的。但在此之后，意外却接踵而来。
领到字据后的张廷玉先是无比开心，熬夜写了一宿的谢恩折子。可转天这78岁的老头却怎么也起不来床了，既然自己无法亲自到宫中谢恩，张廷玉就让二儿子替自己进宫谢恩。终于，乾隆在应付完张廷玉的二儿子后，转头就天威震怒——要恩典时，亲自来，拿了恩典，就派儿子来打发，你眼里还有没有朕这个皇帝？“章总”此时会生气，其实还是有一定道理的，毕竟老张你想要退休，人家不但批准了，甚至还开大会来表彰你这一生的功绩；你要立字据，人家也给你立了，让你吃了定心丸。可在人家都做到位之后，你却派儿子去答对，你到底懂不懂感恩呢？
可更大的意外还在后面。张廷玉也意识到了自己的行为有问题，于是，转天一早就飞奔进宫，亲自去谢恩，但却谢出了大罪过。乾隆说，昨天朕骂你的时候，你儿子早已经走了，你怎么知道朕生气了？你是不是在朕身边安插了眼线？于是，乾隆越想越气，最后便以“结党”为名，革除了张廷玉的伯爵之位。
可即便如此，乾隆还是保留了底线，他并没有废掉张廷玉配享太庙的待遇。
乾隆十五年(1750)年初，张廷玉刚收拾完家当，准备回老家，结果却碰上了乾隆的皇长子永璜意外病逝。皇室发丧，张廷玉动身不成了。永璜的丧期是三月二十三日结束的，张廷玉在三月二十五日就去找乾隆了，问道，既然皇长子的丧期已经结束了，臣这会儿是不是就能撤了呢？此时的乾隆还沉浸在巨大的丧子之痛中，张廷玉来了这么一出，乾隆终于无法再忍了，他正式组织群臣讨论，取消了张廷玉配享太庙的待遇。这不就是你一直心心念念的吗？你还让朕给你立字据？那这回，朕还真不给你了。
直到张廷玉死后，乾隆才恢复了他配享太庙的待遇，以表示自己对雍正遗诏的尊重。只是，此时的张廷玉，他已经什么都不知道了。而张廷玉的晚年，则是在一无所有的情况下，带着无限的遗憾去世的。
可故事到这儿就结束了吗？没有。
张廷玉去世30年后，乾隆五十年(1785)时，乾隆74岁了。他在翻阅档案的时候，突然看到了一篇自己年纪轻轻刚即位不久时张廷玉所写的文章《三老五更议》。张廷玉在文中既讲了臣子该如何恪守本分，又讲了君主该如何保持威仪。此时已逾古稀之年的乾隆，读着读着，可能是想起了自己年轻时对张廷玉所做的事，忽然感慨道：
夫廷玉既有此卓识，何未见及朕之必不动于浮言，遵皇考遗旨，令彼配享太庙？而临休致归里时，乃有求入庙之请。此所谓老衰而戒之在得乎？朕又以廷玉之戒为戒，且为廷玉惜之。（《清高宗实录》卷一二二四，乾隆五十年二月初七日）
唉，张廷玉当初为什么就不相信朕一定会让他配享太庙呢？临了，还非要朕给他写个字据，最后平白无故牵扯出那么多的事来。
此时的“章总”是在猫哭耗子假慈悲吗？还真不是。
因为在此之后，乾隆对张廷玉的后人都是照顾有加的。像是张廷玉的小儿子张若渟，当初没考上科举，最后靠纳捐买的官，所以仕途一直不顺。于是，乾隆五十四年(1789)，乾隆就下旨说：
张若渟虽非科甲，但尚谨慎，且系大学士张廷玉之子，特加擢用，以示朕眷念旧臣之意。（《清高宗实录》卷一三四一，乾隆五十四年十月二十四日）
张若渟这小伙子虽然科举没考上，但他毕竟是张廷玉的儿子，还是要好好培养的，朕也是个念旧情的人。于是，在那年，张若渟就从内阁学士升为工部侍郎。在嘉庆朝时，张若渟还升为了兵部尚书。不管是出于怀念，还是出于愧疚，如果不是因为对张廷玉还存有感情，乾隆是没必要特别优待张若渟的。