起初，他进城是为了办公事，后来，经过两年退休生活，他最终结束了深居简出的状态，也开始时常到莫斯科城里逍遥娱乐一番。他和妻子有时还在市区步行，并开始去听音乐会，上剧院看戏。赫鲁晓夫特别欣赏在索沃尔曼尼克大剧院上演的话剧《布尔什维克》，该剧的作者是沙特罗夫。有一回，看完戏之后，赫鲁晓夫要求见一见剧作者和剧场总经理叶菲列莫夫。于是他们几个人便到叶菲列莫夫的办公室侃了一通。赫鲁晓夫只提出一点批评意见，认为剧中上演的人民委员会开会的那一幕情节不甚准确，缺少了象加米涅夫和布哈林这样一些关键人物。赫鲁晓夫声称：“我们原打算为他们平反昭雪，可是让多列士给挡住了。”
既然现在闲暇时间很充足，赫鲁晓夫便开始大量读书。他的个人藏书可谓规模很大，以前苏联每出版一本新书，总要送他一本。他第一批阅读的书籍中，有索尔仁尼琴的《第一圈》这本书，他有此书的手抄本。赫鲁晓夫不喜欢此书，并声称要是自己的话，决不会让这本书发行。尽管他已越来越宽于待事，但依旧不赞同任何形式的政治或文化多元论。尽管这样，他还是一点儿也不后悔自己当年批准发表索尔仁尼琴的《伊凡·杰尼索维奇的一天》这本书。一天，他若有所思地说：“或许我是个外行，或许我们都是外行。但特瓦尔多夫斯基可决不是外行。他不止一次告诉我，这篇小说是一部了不起的文学作品，索尔仁尼琴是个大作家”。赫鲁晓夫时常以极为尊重的口吻提到特瓦尔多夫斯基。《新世界》文学杂志赫鲁晓夫每期必读，且从头到尾篇篇不漏；这家刊物发表的阿勃拉莫夫、田德里亚科夫、艾特马托夫和莫扎耶夫的中篇和长篇小说，赫鲁晓夫全都读过。他喜欢特瓦尔多夫斯基的诗作，认为它们非常通俗易懂，另一方面他却不理解也接受不了帕斯捷伊纳克的诗，不过他也对1959-1960年无理围攻这位作家的行为深感懊悔。赫鲁晓夫还发现新出版的数十篇回忆录特别引人入胜。回忆录的作者几乎所有曾在政府或军队身肩要职的人，其中一些人仍然在职。对有些回忆录赫鲁晓夫很欣赏，另外一些则颇有啧议。例如，1969年出版的朱可夫回忆录使他极不高兴。无论在战前还是战后，他同朱可夫都有过频繁的交往，但朱可夫在回忆录中对他们两人曾在斯大林格勒前线以及库尔斯克突出部战线上的共事却片言不提，而且对也避而不谈赫鲁晓夫在解放基辅时的重要作用。回忆录中只有两次提到这位前总理：朱可失写道，有一次他“认为自己有责任去亲自拜会乌克兰共产党中央委员会书记”，结果发现赫鲁晓夫待人“热情”；基辅解放时，他又去看望赫鲁晓夫，因为“我知道任何时候在他那里都可以找到不错的食物”。其他的回忆录在涉及赫鲁晓夫时也同样小心审慎，不过作者们在提到自己同斯大林的会面和谈话时，却基本无所顾忌。
赫鲁晓夫越来越深信，为了造福后人，自己应当把对往事的回忆付诸文字。然而他又讨厌动笔写作，他以往习惯于口授。最后他决定只向有关部门请求配备一名速记打字员。他的申请没有得到中央委员会的批准。但事情并未就此了结，赫鲁晓夫开始用一架录音机口授起回忆录，不过口授的内容只是某些粗糙的素材，随感而发的议论以及心血来潮的想法，信马由疆，想到哪儿说到哪儿，前后并不连贯。他指望在日后把这些材料打印出来再加整理。这项工作可谓雄心勃勃，每天他都要为此花好几个小时。
使家人吃惊的是，赫鲁晓夫还开始收听国外的俄语广播，“美国之音”、“英国广播公司”的全球节目和“德意志电波”都在收听之列。他发现这些电台对苏联正在发生的某些事情消息并非灵通，他也喜欢就此同家人展开讨论。60年代末期苏联国内替斯大林恢复名誉的作法和努力使赫鲁晓夫怒火满腔，他对当时审判西尼亚夫斯基和丹尼尔一事也不赞成。他同情持不同政见者，这批人应运而生的初始原因部分是由于当时为斯大林翻案引起的争议。他热情地谈到萨哈罗夫，对1964年李森科事件中他与萨哈罗夫之间出现的冲突感到懊悔。（他对李森科受到揭露批评一事泰然处之，也无意为李森科那套荒唐的理论再加以辩护。）但斯大林女儿斯维特兰娜·阿利卢耶娃逃往西方一事却深深刺痛了赫鲁晓夫。他和斯维特兰娜相识甚久；而且斯维特兰娜曾公开拥护过二十大和二十二大的决定，这与斯大林的儿子瓦西里完全不同，此事之于赫鲁晓夫可谓意义重大。“她决不会从苏联叛逃”，他说，“你们不清楚她是多么忠于共产主义信仰。这肯定是一场骗局”。但是“美国之音”却证实了这一消息，此后很长一段时间里，只要别人一提起斯维特兰娜的名字，赫鲁晓夫就受不了。