在退休之后的头几周里，赫鲁晓夫一直处于震惊不已的状态之中。尽管年事已高，他依然是精力充沛、体魄强健。近11年来，他拼命工作，胜过以往，通常他一天要工作15个小时。世界上几乎所有的主要国家他都访问过，他还走遍了全国各地，过问了政府所有部门的工作。然而此刻他都被不久前还对自己俯首贴耳百依百顺的僚属赶下了台，俨然一名骑手骤然之间从一匹驰聘的飞马上摔下来。他百感交集，心潮难平，根本不想掩饰自己的沮丧心情。他在圈椅上一坐便是几个小时，一动不动，热泪盈眶。赫鲁晓夫的一个孙子在莫斯科某小学读书，一天校长出于好奇向这个小家伙打听：“尼基塔·谢尔盖耶维奇现在整天干什么呢？”孩子答道：“爷爷在哭哪。”
然而赫鲁晓夫并没有一直消沉下去，迅速又恢复了常态。他渐渐重新振作精神，又开始阅读报刊杂志。自从他下野之后，发生了许多事情，州党委机构合二为一，取消了对自留地所有权的某些限制，其后又撤消了地方国民经济委员会，并且恢复了专门负责各类生产部门的国家部委这一切赫鲁晓夫都尽察在心，可是却没有向任何人提起自己对这些变化的看法，连家人和挚友也不例外。他对党依然是忠心耿耿。
在好几个月的时间里，除了亲戚之外没有人登门拜访看望赫鲁晓夫。在苏联，人们对他下台的消息并没有大惊小怪，在某些地方还有人如释重负。可是在西方，在某些外国共产党眼里，他仍象从前一样享有极高的声望。好几位来访的外国政治家和共产党领袖表示希望同他会面，但苏联官方一概以赫鲁晓夫身体欠佳不便打扰为由谢绝来客，显而易见，这种托辞不能无限期地用来挡驾，这就需要对这位前总理的目前身份做出某种决定。虽然人们提出了各种各样的建议，但赫鲁晓夫却拒绝同政治局委员一起讨论这些建议。1965年初，有关部门要求赫鲁晓夫及其全家迁出现在居住的政府官邸（这所房子宽敝明亮但设计粗糙，曾是莫洛托夫一家的住所），指定他搬到一处较为简朴的房子居住，靠近佩特罗沃——达利涅叶住宅区。对赫鲁晓夫来说，新住所有个重要的优点，它附有一小块空地。
这所住宅周围有一道高高的围墙栅栏。类似这样的住宅，大门通常都是由那些上了年纪的门卫看守，可以轻而易举地得到他们允许走进大门。但是在赫鲁晓夫住所的大门外却设立了一道屏障，一小队内务部和克格勃的警卫负责保卫这位前总理，每天从早到晚二十四小时总有人值班。无论赫鲁晓夫什么时候外出散步，他们总是紧随其后，不过并不干涉这一家人的行动，而且总的来说举止也很得体，没有什么唐突之处。
赫鲁晓夫每月领取400卢布的退休金，比起前不久的高俸厚禄，这点儿小数当然微乎其微。他仍保留着到克里姆林宫医院就医和享受特供的权利。另外，还有一辆老式的汽车供他使用，出于某种原因，这部车用的是私人所属的牌照。他在莫斯科市旧城区内还有一套住房，离阿尔巴特不远，但他并不喜欢那套房子，很少在那儿停留，尽管他经常要到莫斯科城内走一趟。
起初，他进城是为了办公事，后来，经过两年退休生活，他最终结束了深居简出的状态，也开始时常到莫斯科城里逍遥娱乐一番。他和妻子有时还在市区步行，并开始去听音乐会，上剧院看戏。赫鲁晓夫特别欣赏在索沃尔曼尼克大剧院上演的话剧《布尔什维克》，该剧的作者是沙特罗夫。有一回，看完戏之后，赫鲁晓夫要求见一见剧作者和剧场总经理叶菲列莫夫。于是他们几个人便到叶菲列莫夫的办公室侃了一通。赫鲁晓夫只提出一点批评意见，认为剧中上演的人民委员会开会的那一幕情节不甚准确，缺少了象加米涅夫和布哈林这样一些关键人物。赫鲁晓夫声称：“我们原打算为他们平反昭雪，可是让多列士给挡住了。”
既然现在闲暇时间很充足，赫鲁晓夫便开始大量读书。他的个人藏书可谓规模很大，以前苏联每出版一本新书，总要送他一本。他第一批阅读的书籍中，有索尔仁尼琴的《第一圈》这本书，他有此书的手抄本。赫鲁晓夫不喜欢此书，并声称要是自己的话，决不会让这本书发行。尽管他已越来越宽于待事，但依旧不赞同任何形式的政治或文化多元论。尽管这样，他还是一点儿也不后悔自己当年批准发表索尔仁尼琴的《伊凡·杰尼索维奇的一天》这本书。一天，他若有所思地说：“或许我是个外行，或许我们都是外行。但特瓦尔多夫斯基可决不是外行。他不止一次告诉我，这篇小说是一部了不起的文学作品，索尔仁尼琴是个大作家”。赫鲁晓夫时常以极为尊重的口吻提到特瓦尔多夫斯基。《新世界》文学杂志赫鲁晓夫每期必读，且从头到尾篇篇不漏；这家刊物发表的阿勃拉莫夫、田德里亚科夫、艾特马托夫和莫扎耶夫的中篇和长篇小说，赫鲁晓夫全都读过。他喜欢特瓦尔多夫斯基的诗作，认为它们非常通俗易懂，另一方面他却不理解也接受不了帕斯捷伊纳克的诗，不过他也对1959-1960年无理围攻这位作家的行为深感懊悔。赫鲁晓夫还发现新出版的数十篇回忆录特别引人入胜。回忆录的作者几乎所有曾在政府或军队身肩要职的人，其中一些人仍然在职。对有些回忆录赫鲁晓夫很欣赏，另外一些则颇有啧议。例如，1969年出版的朱可夫回忆录使他极不高兴。无论在战前还是战后，他同朱可夫都有过频繁的交往，但朱可夫在回忆录中对他们两人曾在斯大林格勒前线以及库尔斯克突出部战线上的共事却片言不提，而且对也避而不谈赫鲁晓夫在解放基辅时的重要作用。回忆录中只有两次提到这位前总理：朱可失写道，有一次他“认为自己有责任去亲自拜会乌克兰共产党中央委员会书记”，结果发现赫鲁晓夫待人“热情”；基辅解放时，他又去看望赫鲁晓夫，因为“我知道任何时候在他那里都可以找到不错的食物”。其他的回忆录在涉及赫鲁晓夫时也同样小心审慎，不过作者们在提到自己同斯大林的会面和谈话时，却基本无所顾忌。
赫鲁晓夫越来越深信，为了造福后人，自己应当把对往事的回忆付诸文字。然而他又讨厌动笔写作，他以往习惯于口授。最后他决定只向有关部门请求配备一名速记打字员。他的申请没有得到中央委员会的批准。但事情并未就此了结，赫鲁晓夫开始用一架录音机口授起回忆录，不过口授的内容只是某些粗糙的素材，随感而发的议论以及心血来潮的想法，信马由疆，想到哪儿说到哪儿，前后并不连贯。他指望在日后把这些材料打印出来再加整理。这项工作可谓雄心勃勃，每天他都要为此花好几个小时。
使家人吃惊的是，赫鲁晓夫还开始收听国外的俄语广播，“美国之音”、“英国广播公司”的全球节目和“德意志电波”都在收听之列。他发现这些电台对苏联正在发生的某些事情消息并非灵通，他也喜欢就此同家人展开讨论。60年代末期苏联国内替斯大林恢复名誉的作法和努力使赫鲁晓夫怒火满腔，他对当时审判西尼亚夫斯基和丹尼尔一事也不赞成。他同情持不同政见者，这批人应运而生的初始原因部分是由于当时为斯大林翻案引起的争议。他热情地谈到萨哈罗夫，对1964年李森科事件中他与萨哈罗夫之间出现的冲突感到懊悔。（他对李森科受到揭露批评一事泰然处之，也无意为李森科那套荒唐的理论再加以辩护。）但斯大林女儿斯维特兰娜·阿利卢耶娃逃往西方一事却深深刺痛了赫鲁晓夫。他和斯维特兰娜相识甚久；而且斯维特兰娜曾公开拥护过二十大和二十二大的决定，这与斯大林的儿子瓦西里完全不同，此事之于赫鲁晓夫可谓意义重大。“她决不会从苏联叛逃”，他说，“你们不清楚她是多么忠于共产主义信仰。这肯定是一场骗局”。但是“美国之音”却证实了这一消息，此后很长一段时间里，只要别人一提起斯维特兰娜的名字，赫鲁晓夫就受不了。
对于许多国际危机赫鲁晓夫也有自己的独到见解。1968年8月华约部队入侵捷克斯洛伐克事件使他深为震惊。“他们本来完全可以采取别的办法，他们犯了一个可怕的错误。”他说道。赫鲁晓夫认为此举与1956年匈牙利事件完全不可相提并论：匈牙利在大战期间曾与苏联为敌，而且解放后苏军就驻扎在那里。他又补充道：“况且在匈牙利，反革命势力已开始得手，正开始屠杀共产党人。而在捷克斯洛伐克，共产党政权并没有受到动摇。”赫鲁晓夫经常称赞匈牙利共产党的第一书记卡达尔·亚诺什。1956年，卡达尔是在赫鲁晓夫支持下才得以上台执政的，现在每逢苏联国庆节，他总要一仍其旧地向赫鲁晓夫致电问候。中国国内局势的发展却使这位前总理极为忐忑不安。他对文化大革命的风云变幻十分关注；中苏边境上多起武装冲突也使他深感惊惧。虽然他并不信任中国领导人，提到他们总是怀有某种恶意，但他赞同中苏双方1969-1970年走向缓和的最初步骤。
当然，赫鲁晓夫也并非从早到晚都伏案工作。他还迷上了摄影，而且兴致勃勃，摆弄得非常老练，不过取景对象只限于身边的一切，例如佩特罗沃——达利涅叶住宅区附近的田野、树木、花草和小鸟什么的。此外，对自己的菜地和果园他也很下功夫。从初春到晚秋，他每年的大多数时间都花在照看自己那一小块土地上。他还四处写信索要各种农作物的种子，而且需要量也不小，其中有些种子只适宜在南方播种；不必多说，他播下了许多品种的玉米，并精心加以照料。种植西红柿引来了他的骄傲和喜欢，1967年他培育了200株某一特殊品种的西红柿，硕果累累，竟长到每个重一公斤左右。通常他都要在清晨4点钟起床，去给这些西红柿浇水。令人遗憾的是，由于一场意想不到的霜冻骤然降临，大多数西红柿都夭折了，这场灾难使老人十分难过。
他的实验并没有停止，下一个项目是农作物水栽法。他设法搞到一些合适的管子，不顾什么“年纪已高”和“身体欠佳”，把管子逐个加工成相宜的形状，并在上面打了孔。他按照规定把含有各种必要成份的营养液注入管内，然后植入农作物种子。收获时虽然结果平平，但这已足以使他深信，农业的前途将寄托于农作物水栽法后来经过更大规模的试验之后，他才发现这一方法固然不差，可是经济效益却不高。转年春天，赫鲁晓夫的园子里再也瞧不见这些管子了，农作物水栽法试验已被他抛弃了。
赫鲁晓夫对农业的兴趣并不仅限于在自己园子里种植水果蔬菜。离他住所不远的地方，有几块属于当地国营农场和集体农庄的耕地。有一次，当散步路过时，他看见有一块地贫瘠荒芜，似乎无人照管。于是他便请附近干活儿的农民去把他们的队长找来。很快，队长就和农庄主席一起匆匆赶到。赫鲁晓夫严厉批评他们管理不当，浪费耕地。最初这两个人都惊呆了，一时无言以对。但是后来这位农庄主席又缓过神儿来，他显然是被刺痛了，与其说是因为赫鲁晓夫的严厉训斥倒不如说是由于批评句句打中要害；他恼羞成怒地大声顶撞起来，声称赫鲁晓夫既然已不再是国家领导人，那就去为自己操心好了，别多管闲事。这件事使赫鲁晓夫很不痛快，此后好长一段时间里一直耿耿于怀，并每一念及，心里就烦乱不堪，尤其是因为自己同当地农民以及左邻右舍的关系总的来说始终还很融洽，相比之下，他更是咽不下这口气。赫鲁晓夫经常碰到附近农村的农民，总要在河边花上好几个小时同他们东拉西扯交谈一番，同样他也喜欢和自己的警卫人员以及附近疗养院的休养者闲侃；这些疗养人员总是没完没了地就一些以往的重大事件向他提出咄咄逼人的问题。有一天，附近州里的几位农场工人来到离赫鲁晓夫住所不远的那个村子作客，当他们发现这位前总理就住在附近时，便来到他家四周那圈高高的栅栏前，爬上去向园子里张望，恰好赫鲁晓夫就在里面干活。其中一个人便问道：“他们在这儿欺负您了吗，尼基塔？”赫鲁晓夫直起腰笑着回答：“没有，没有”。
但是他依然受到官方的严密监视，点滴不漏。1967年，他和党中央委员会发生了自他退休以来的第一次争吵。法国电视台播放了一部纪录短片，介绍养老金领取者赫鲁晓夫如何消磨时光的情况，提供片子的记者显然是在赫鲁晓夫一位亲戚的允许下进入这栋住宅的。这部片子使中央委员会大为不快，遂即下令撤换了赫鲁晓夫的卫队，由于玩忽职守他们无疑将受到惩罚。此外中央委员会还指示赫鲁晓夫本人向基里连科作出汇报。其实正是仰仗了赫鲁晓夫当初的重用，基里连科才平步青云，最后跻身于中央主席团委员之列。在接待赫鲁晓夫时，基里连科对他严加痛斥：“看样子您的日子过得还是太好了吧！”赫鲁晓夫针锋相对毫不退缩，他答道：“一点不错，您可以拿走我的住宅，取消我的养老金。但我能靠自己这双足走遍全国，我所需要的一切人民都会给我，可如果您要是身无分文的话，谁也不会给您任何东西！”
赫鲁晓夫这种蔑视他人的举动已不再是出于傲慢。随着退休之后的时光流逝，他开始了深刻的自我反省，对自己执政期间的决定开始持批评态度。他从没考虑过去寻求支持，重新上台。的确，随着时光流逝，他对自己交出权力的惋惜懊恼之情就越发淡薄，不过他确实对自己以往的某些做法深感悔恨，也准备承认有些事情是自己的过失。譬如，由于自己曾把某些党员平反昭雪的问题束之高阁，他感到追悔莫及：他承认自己本来应当正式宣布1936-1938年公开审判案的判决全部无效，但最后却还是把党中央有关委员会的调查报告归档了事。另外，对1962-1963年那场上纲上线乌烟瘴气的意识形态围攻运动，他也深表悔恨，此事他认为应当归咎于伊利切夫。“他想要挤进政治局。”赫鲁晓夫说。另一方面，对于强加给自己的反犹罪名，他也耿耿于怀，宣称那是其他人由于斯大林的影响所持有的态度，结果损害的却是他赫鲁晓夫的名声。确实不错，在他执政期间，对斯大林迫害犹太人的许多罪行，他的确曾经试图加以纠正。在其他一些引起人们抨击他的问题上，他则坚持己见，他认为一个共产党员说话行事都要有自己一定的主见，而他本人至死也是一名共产党员。
可能正是他这种倔强的态度最终致使赫鲁晓夫失去权力，但有一些人却没有因此而疏远冷落他。到别墅来探望他的来访者当中包括一些艺术家（其中有的人曾在马涅日艺术馆还遭到过赫鲁晓夫的责骂）和作家，莫斯科的知识界也同他保持着偶而接触的联系。恩斯特·涅伊兹维斯特尼曾把一本附有原版插图的陀思妥耶夫斯基的名著《罪与罚》，作为礼物送给赫鲁晓夫，这使他深受感动。叶甫图申科和沙特罗夫的造访也使他很高兴。1969年4月正逢他75岁生日，外国主要报纸都发了消息，这尤其让他喜悦不已。这一天他收到了世界各国著名政治家的生日贺电，其中包括戴高乐总统和英国女王伊丽莎白二世。同过去一样，卡达尔·亚诺什从匈牙利发来了一封诚挚的贺电。让赫鲁晓夫意想不到的是，列恩·卡尔宾斯基也打来电话致贺，他的父亲维·卡尔宾斯基曾是列宁的朋友，也是一位知名的苏联共产党人。当时列恩·卡尔宾斯基恰好在《消息报》的办公室里同几个同事交谈，他们聊着聊着便开始回忆起赫鲁晓夫的执政年代，于是在卡尔宾斯基的倡议下，他们决定给这位前总理打个电话向他贺寿。在做完自我介绍之后，卡尔宾斯基接着说：
党的二十大和二十二大使我们深受教育。彻底揭露斯大林，为遭受他迫害的受害者平反昭雪，都得属于您的功劳，我们将永远为此感激您。我坚信，最终将要决定我们时代重大意义的正是这些历史事件，它们同样也将最终肯定您在其中发挥的重大作用。我们在座的所有人都衷心祝愿您健康长寿，生日快乐！