1964年10月12日，党中央委员会主席团在克里姆林宫召集会议。议程只有一项，迅即把赫鲁晓夫赶下台。
对赫鲁晓夫权势地位展开反对活动，在这一年最初几个月时间里一直是小心翼翼先做试探，而此时已变得明目张胆不加掩饰。赫鲁晓夫长期离京外出，政敌们抓住这一天赐良机进行密谋策划。有证据表明，主席团和中央委员会一部分成员在9月份就对有关赫鲁晓夫的问题进行了周致讨论，当时他们作为斯塔夫罗波尔边疆区党委第一书记弗·库拉科夫的座上宾，在南方靠近马内奇湖的地区度假，狩猎钓鱼。当赫鲁晓夫离开莫斯科前往黑海之滨疗养时，准备撤掉他职务的活动还在首都继续进行。主要策划者是苏斯洛夫和谢列平，正是得到中央委员会第二书记勃列日涅夫和国防部长马利诺夫斯基的全力支持，他们才敢大胆行事。及到中央主席团10月12日聚首之际，大多数主席团委员和中央委员都已明确表态赞成废黜赫鲁晓夫。
10月13日上午，赫鲁晓夫在海滨别墅会见了法国国务部长加斯顿·帕莱夫斯基。这时法国正值总统大选的准备阶段，对戴高乐是否会再次参加竞选以求连任，世人推测议论观点不一。帕莱夫斯基据说是戴高乐的好友，赫鲁晓夫便向他提出了这个问题，不过回答却过于闪烁其辞。赫鲁晓夫打断了客人的话，表示确信戴高乐应当再次参加竞选，他声言：“一个伟大的政治家永远要为巩固权力奋战到底。”苏联总理正要请帕莱夫斯基共进午餐，忽然有电话找他。勃列日涅夫从莫斯科打电话告诉他，中央委员们正在开会讨论赫鲁晓夫农业改革建议所引发的各种问题。刚开始赫鲁晓夫拒绝动身。他说：“这件事没有那么紧迫，何况我正在休假，我也需要时间放松放松。”勃列日涅却执意要他回来。他告诉赫鲁晓夫，要是他不回莫斯科，大家在他缺席的情况下也要讨论解决这个问题。赫鲁晓夫十分恼火：“那么好吧，派一架飞机来接我。”
米高扬陪着赫鲁晓夫回到莫斯科。齐宾将军最后一次开着这架他同赫鲁晓夫一起飞越千山万水的飞机。在莫斯科机场，前来迎接赫鲁晓夫的只有克格勃主席谢米恰斯内。赫鲁晓夫完全明白了，这个中央主席团委员们将要讨论的根本不是什么农业管理结构问题。
参加会议的有22人。除了主席团委员和候补委员之外，列席会议的还有外交部长葛罗米柯、国防部长马利诺夫斯基以及几名州委书记。有些外国报纸误传过会议主席是苏斯洛夫或勃列日涅夫，其实主持会议的正是赫鲁晓夫本人。
整个讨论直接开门见山，时而还有口角。任何会议速记记录都没留下。赫鲁晓夫对加在他头上的一切指责都坚决予以否认，并且抨击在场的某些人的所作所为。站在他一边的只有米高扬。米高扬向与会者指出，赫鲁晓夫的成就是政治上的财富，不经慎重考虑便要抛弃它，是不明智的。没有人支持他的主张。尽管继续抵抗下去也是无济于事，不过赫鲁晓夫还没被说服就在当天下午“自愿”退休。最后，由于时间太晚，只好暂时休会。所有人都被通知在第二天上午继续开会。晚上，赫鲁晓夫打电话给米高扬，米高扬当时也夜不能寐辗转反侧。赫鲁晓夫说：“如果他们不需要我，那就算了吧，我也不用挡他们的路儿了。”
第二天的会议很快就结束了，会上选出勃列日涅夫担任党中央委员会第一书记，柯西金担任部长会议主席，随后便告散会。
据米歇尔·塔图讲，几乎是刚好一年前，赫鲁晓夫接见了法国社会党领导人居伊·莫耶，当时莫耶向他问起将来可能成为他接班人的新一代苏联领导人人选。赫鲁晓夫列举了三位，第一是勃列日涅夫，赫鲁晓夫给予赞扬；第二是柯西金，他夸奖此人才干出众，最后是波德戈尔内。显然，对于自己身后可能的继承人，赫鲁晓夫心中有数，准确无误。
那天下午，来自全国各地的党中央委员在克里姆林宫召开中央全会。勃列日涅夫宣布开会。米高扬主持会议。赫鲁晓夫也参加了会议。会议期间他一言未发。苏斯洛夫做了报告，不过只有一小时左右。这个报告根本未对赫鲁晓夫执政11年的成就做出评价，没有对其功过得失予以权衡比较，也没有得出任何结论；报告对于赫鲁晓夫失误的成因及其成就的价值都没有提出分析评价。它只不过是一份历数罗列赫鲁晓夫种种错舛之处的起诉书，其中把属于重大的判断失误与那些鸡毛蒜皮之类的小过失混为一谈。总的来说，赫鲁晓夫受到15个方面的指责。
1.他作为党和政府领导人进行的工作，由于他犯下的重大错误而受到严重损害。他常常做出仓促轻率、考虑不周的决定，任意扩大行政管理机构，致使等级层次叠床架屋。在前二三年时间里，他手中集中了巨大的权力，并且开始滥用权力。他还贪天功为己有，把全国的成就功绩都记在个人名下。他根本不把主席团的权威放在眼里，蔑视主席团其他委员，对他们颐指气使，拒绝听取他们的意见，对他们以及周围所有的人总是无休无止地予以训斥。尽管主席团委员多次呼吁，他还是完全不理睬所有的批评意见。
这些批评基本上还是有道理的。不过赫鲁晓夫早在五六年前就已执掌了最高权力，而且即便在当时，他就惯于仓促行事，这是人人皆知的事实。况且，主席团委员们对他的建议也极少提出异议；1957年6月全会之后，无论在中央委员会还是在主席团里，无人对他的行为提出过异议。
2.赫鲁晓夫的活动充斥苏联的报刊，并全是过份的吹捧之词。1963年一年全国性大报上共刊登了他的120幅照片，1964年前9个月竟至140幅。相形之下，当年斯大林巨照载之报端也不过一年只有10到15次。赫鲁晓夫身边全是裙带亲戚和报刊记者；对他来说，这伙人的看法要比主席团委员的意见更有价值。到头来，对这伙人提出的措施方案，主席团只能起到例行批准，走走过场的橡皮图章作用。赫鲁晓夫依赖报刊广播的谄媚奉承来维持个人的妄自尊大。
这些指责无论如何也没有真实反映赫鲁晓夫同报界的关系以及他制定政策时通行的方式。斯大林的照片在报上出现的次数远不止每年10到15次，另外赫鲁晓夫在执政期间足迹遍及全国，出国访问也多达40次，报界当然会饶有兴趣地报道他的活动。另一方面，斯大林从20年代末期之后基本上没有出国访问，在国内也不去视察工厂农庄。
苏斯洛夫还以赫鲁晓夫的儿子谢尔盖和女儿拉达为例，说明他个人家庭的政治作用，其实这也是言过其实子虚乌有，他们在有关国家大事方面丝毫没有影响。不过有一点是不容否认的，大肆吹捧确实是报刊广播工作的一大特点，但党中央委员会的意识形态委员会和宣传鼓动部又何尝不是如此呢；通常在报刊广播中专事歌功颂德的并不是局外人，而是中央委员会的要员们。即便在主席团内阿谀奉承之辈也不乏其人，因为若是认定主席团所有成员都会在赫鲁晓夫的蔑视下忍气吞声，而不经常以讨好谄媚之词为自己消灾解难，那可就大错特错了。
3.中央委员会撤去赫鲁晓夫女婿阿朱别伊《消息报》总编的职务，因为他根本不能胜任工作，只会溜须并且不负责任。他僭行了影子外交部长的作用，企图干涉最高决策层的外交工作，混淆驻外大使的视听。有一次访问西德时，阿朱别伊用轻蔑的口吻谈到瓦尔特·乌布利希，结果后来我们党花了好大力气才安抚了德意志民主共和国。
确实，阿朱别伊负有一定责任。他是个极其能干的记者，在他领导下，《共青团真理报》和《消息报》办得有声有色、引人入胜，拥有大量的读者。至于赫鲁晓夫有时派他到某些西方国家收集有关政治和外交方面的情况，也无可指责；因为比起官方活动，非官方的试探有时能更多地了解内情，获得更多的成果。但是阿朱别伊喜欢酗酒，在某些场合下或许不够谨慎。他已是二十二大上选出的中央委员，尽管身居要职，他却时常把政治和玩笑混为一谈，这些都有可靠的事实佐证。而这两者之间却极少有融为一体又乐在其中的时候。
4.赫鲁晓夫把州委划分成两个平行组织，一个工业州委，一个农业州委。这种做法在管理上引起了很大混乱，结果致使两个孪生性政党的出现，一个是工业党，另一个则是农业党。
赫鲁晓夫此举的确很不恰当。但是苏斯洛夫却没有指出，那个倡议是在一次中央全会上正式提出并获准通过的，而那次全会和时下正在举行的中央全会并无两样。
5.赫鲁晓夫提议用政治部门取代现存的农业管理机构。他的建议书还对这些新的专业化部门在有关畜牧业和种植业上的职责做出了规定，然而中央主席团认为建议显然不可行而未加采纳。
对于这一点指责，没有什么好辨解的。
6.赫鲁晓夫以为自己在农业、外交、科学和艺术等方方面面都是行家里手，而且对所有妨碍他的人都吹胡子瞪眼。譬如，有一次在民主德国，他曾毫不踌躇地指示当地农场工人如何管理农场，一举一动俨然象是在我国的某个加盟共和国。不仅如此，许多由中央委员会准备的文件都署上了赫鲁晓夫的大名，似乎文件中的精辟结论都应归功于他一样。
这些批评的第一条是有道理的。赫鲁晓夫向来都闲不住。有一次，他竟然班门弄斧，在有关玉米播种的正确方法上对美国的玉米种植专家罗斯韦尔·加斯特指手划脚，结果加斯特不得不表示异议。
苏斯洛夫的第二点指责便纯属鸡蛋里挑骨头，不值一驳。在有关公报、迎送致辞以及致送他国政府首脑的函件上署上苏联总理的大名，全系通行惯例；而且在起草讲稿、报告和公开声明时找人帮忙，亦属正常做法。苏斯洛夫本人发表许多讲话，其文稿就经常是由党中央工作人员为之捉刀拟定的。赫鲁晓夫对于将要署上自己大名的文件一向谨慎小心，在准备过程中往往亲自过问，这一点苏斯洛夫却没有提及。赫鲁晓夫并不仅仅满足于拿过别人写好的讲稿照念一遍了事。
7.赫鲁晓夫对中央主席团委员提出的要求过于苛刻，以至决难办到。例如，他让大家在短短的45分钟之内便要以书面形式对他的建议书表态。结果，每次磋商都不过是形式而已，主席团的碰头会成了走过场。
这些批评有些真实之处。赫鲁晓夫有时确实强迫别人对自己的行动做出快速反应，但是在有几次重大的国际性危机关头（古巴事件就是典型的例子），形势根本不准许从容不迫地进行讨论。如果说中央主席团碰头会时常流于形式，那么主席团其他成员自己也应承担不可推脱的责任，也应当受到批评。向赫鲁晓夫提出异议决没有抵制斯大林行动那种杀身之祸的危险。当然，有些问题上也要担风险，但充其量不过是在党内丢了乌纱帽，而这种事件毕竟少之又少，并不多见。
8.在赫鲁晓夫执政时期，工业管理工作被弄得极其繁乱复杂，结果国家各部委、地方国民经济委员会和最高国民经济委员会等各级主管部门都变得机构臃肿，运转不灵，效率低下，工业本身也是这样；工业生产力较之以前旧管理体制下的生产力，还显逊色。
苏斯洛夫说得不错，不过赫鲁晓夫所搞的各项管理体制改革都曾得到中央委员会多数成员的赞同。把工业生产的糟糕局面全部推到赫鲁晓夫身上是极不公平的。
9.赫鲁晓夫制订和实施了破坏工人福利的政策。肉类、日用品和某些消费品的价格上扬，从而降低了人民的生活水平；由于畜牧业工作上普遍运用了完全错误的理论，结果使无数的畜牛遭到滥杀，引起市场上肉类供应每况愈下。
苏斯洛夫这些批评是正确的，事实无可辩驳。此外，最近10到15年来，价格确实在逐渐上涨；不过，工资、津贴和其他形式的收入也在增加（这里值得顺便提及的是，1964年10月全会之后价格也并没有下降）。至于赫鲁晓夫在畜牧业上的错误做法，他提出的所有理论都已在中央主席团和中央委员会的会议上遍示众人，也没有出现什么反对意见。
10.在外交会谈时赫鲁晓夫很不审慎。例如，他在改善苏中关系方面没有进行过任何努力。有一回，他竟然对几位日本国会议员讲，如果中国新疆的哈萨克人表示愿意让苏联统治，而不愿意归中国统领，那么苏联就可以吞并这片地域，以遂其愿；还有一次，他把毛泽东称作“老套鞋”，后来毛听到这种称呼非常不满。赫鲁晓夫对阿尔巴尼亚的态度也不注意时间场合，常有不检点之处。
中央委员会的委员们早都清楚，无论是私下会谈还是公开讲演，赫鲁晓夫说话都不大注意措辞与分寸，同他政府首脑的身份不大相称。由于他同西方记者谈话时常常过于坦率，因此只好采取了一种以防万一的办法，有关他的采访报道先要删节整理，经过审批，然后在苏联和西方同时发表。显然，他关于新疆哈萨克人的那番言论准是逃过了审查网的眼睛。在某些私下会谈中他很可能是把毛喻为一双“套鞋”，但是这种说法怎么传到中国了呢？人人皆知，在一两次中共的秘密会议上，中共中央主席毛泽东也曾以同样坦率的口吻评论过赫鲁晓夫，但当时他的观点还没有在莫斯科传开。
11.就连苏联的朋友也免不了要受到赫鲁晓夫的非难。在某次经互会会议之后举行的晚宴上，赫鲁晓夫对保加利亚总理日夫科夫嘲弄挖苦，说保加利亚人总是当食客。当时有几十位社会主义国家和共产党的代表在场，日夫科夫才不便发作，只能保持外交上的沉默。赫鲁晓夫的说法表明一种傲慢无礼的态度，这同一个世界主要大国领导人的身份极不相配。
别人出于害怕转而采取的“外交性手段”总是助长了赫鲁晓夫随心所欲，日夫科夫本当立即退席以示抗议，表明他认为赫鲁晓夫这句话过于无礼，侵犯他的尊严。尽管没有出现这种局面，赫鲁晓夫的无礼行为还是不可原谅的。
12.赫鲁晓夫对苏联外贸伙伴的态度也非常傲慢。波兰、罗马尼亚和芬兰由于他的朝令夕改翻云覆雨而遭受了不小的损失。波兰建立了一家计划生产安——2型飞机的工厂。苏联承诺要从波兰进口500架这种飞机。但事到临头，这批订货却取消了，因为赫鲁晓夫觉得这种飞机在苏联国内制造会更便宜。这一决定实际上等于辜负了波兰方面的信任，使波兰工厂15000名工人十分失望。罗马尼亚的忠诚也经受了考验，因为苏联要求罗马尼亚把自己开采的原油输入“友谊”输油管道，而当时罗马尼亚却更愿意出售自己的原油以换取外汇。苏联曾从芬兰订购了很多套小型别墅的预制件，为此，芬兰方面特意建造了一家专门工厂；后来赫鲁晓夫却执意取消了订货，结果这家工厂只好处于闲置状态。这件事发生之后，苏联又希望通过芬兰造船厂来生产苏方的订货，芬兰方面当然不同意投资建造新工厂。不仅这样，赫鲁晓夫在自己执政期间全然无视苏联外贸部长的存在，从未接见过帕托利切夫，甚至连个电话都不给他打。
在处理苏联同外国的贸易关系上，赫鲁晓夫很可能常有失策之处，包括对社会主义国家和资本主义国家都是这样，但若是不了解他的动机和用意，就难以对此做出评述。他始终不接见帕托利切夫的确令人奇怪，但这并非因为赫鲁晓夫对外贸工作出现的问题甩手不问。恰恰相反，赫鲁晓夫出访国外时总是有帕托利切夫的副手陪同。这位外贸部长也许是尽力避免拿这些可以在较低一级得到解决的问题去找自己上级的麻烦。进一步说，作为苏联部长会议副主席之一的米高扬全权负责苏联内外贸易工作，而赫鲁晓夫对他是完全信任的，对米高扬所负责的事务他不愿去插手。
13.有关季米里亚泽夫农学院的问题。赫鲁晓夫获知该农学院的科学家不同意自己的农业政策后，便下令将它迁往边远地区，（这时赫鲁晓夫插话为自己的决定辩解一句：“他们在城里种田纯属瞎费劲”。）这一决定使中央主席团委员们十分恼火。赫鲁晓夫的同事们想方设法为延迟这所农学院的搬迁计划建立了各种委员会，要明白，这所学院已在莫斯科建立了100多年，总之，他们抵制了他的指示。但赫鲁晓夫最后在某一天还是发现该学院仍在莫斯科，于是下令该学院不得再行招生。因为学生逐年减少，学院里越来越多的教师只好离开学校另谋工作。
对这一批评，赫鲁晓夫毫无疑问应当承担责任。把苏联农业部和俄罗斯联帮的农业部全部迁到莫斯科之外几百公里的远处，设在国营农场附近，这一决定显然是荒唐之举；在这时赫鲁晓夫还要一意孤行地对这所农学院施以高压，这就是彻底的专横行为了。
14.赫鲁晓夫为取消休耕地和集体农庄庄员的自留地，发起了一场完全错误的运动，结果那些已被充公的土地又闲置无人耕种，听任杂草丛生，最终还得庄员们去除草。他还全然不顾许多著名科学家的极烈反对，竭力为李森科的胡说八道大加辩解，甚至提出要苏联科学院为李森科的朋友留出两个院士席位。当萨哈罗夫对这两个人的候选人资格提出质疑时，竟遭到李森科的辱骂。李森科对自己的门生遭到拒绝一事极为不满，并将此事禀报赫鲁晓夫。于是赫鲁晓夫竟威胁要解散科学院。当柯西金对哈萨克谷物播种工作表示有所关心时，赫鲁晓夫又认为这是对他个人垄断的领域进行干涉。在许多州内，虽然国营农场获利不大，他仍然鼓吹以国营农场来取代集体农庄。
苏斯洛夫这些批评完全正确，何况这些指责还不是全部。赫鲁晓夫的行动违背了1953年和1954年中央全会的有关决定。农民自己养殖的家畜遭到重大的打击，自留地上的作物大大减少，以致土豆和其他蔬菜的价格普遍上涨：公家的农产品又很少，结果无法改变市场失调的局面。另外，赫鲁晓夫不分黑白不分是非无条件支持李森科那套伪科学的理论，这也直接损害了他本人的声誉。
15.赫鲁晓夫对其他国家的承诺以及他在处理与别国的一般关系时，经常不分青红皂白而且大手大脚。他向纳赛尔和阿密尔二人的授勋简直毫无道理，他许诺帮助伊拉克铺设一条长达600公里的铁路，而当时苏联自己每年修建本国铁路的能力也不过如此；他还下令让苏联工程技术专家为印度尼西亚建造一个体育馆，却根本不顾这个国家极为贫困的现状；在出访斯堪的纳维亚时，他携带家眷同行，结果授人以柄，让西方报界把这次访问称为“家庭出游”。
的确，授予埃及的正副总统苏联勋章太唐突，而且在政治上也让人贻笑大方。赫鲁晓夫在批准向某些国家提供经援时大手大脚的作法也是属实之事。（顺便说句公道话，他曾敦促苏加诺总统把这笔钱用在对印度尼西亚益处更大的工程上，而不是修建一座体育馆；但苏加诺要的就是体育馆，其用意也许就在政治而非体育。）至于到斯堪的那维亚的那次旅行访问，随赫鲁晓夫同行只有其6位家庭成员，而不是苏斯洛夫说的全家12人；但是苏斯洛夫还弄错了一点，事实上这次访问的费用全是东道主承担的，他们的盛情款待这回却被人利用了作为攻击赫鲁晓夫的借口。
上述这些指责便是苏斯洛夫起诉书的主旨要义，此外都是一些枝节琐事上的批评。在发言最后，苏斯洛夫向与会者提出了问题：“在从前的情况下，难道我们能尽早迫使赫鲁晓夫遵守集体领导的原则吗？”其实赫鲁晓夫早就多次受到同事的告诫，但提出劝告的同事无不受到他傲慢自负的断然拒绝。苏斯洛夫宣称，比起清除死者的个人崇拜，同活人的个人崇拜进行斗争更为艰巨。当年斯大林是以用肉体消灭来压制批评，而赫鲁晓夫则是从道义上挫败反对者的。把他撤职并非软弱，而是力量的表现，而且这一点要引以为诫。
在整个会议过程中，赫鲁晓夫可能始终是缄默不语，但他以前的许多同僚却不然。苏斯洛夫的报告多次被人打断，插话都充满着对赫鲁晓夫的敌意，结果苏斯洛夫据此得出了最后结论：“根据党中央委员们的意见，这次全会显然是赞同中央主席团有关赫鲁晓夫问题的决定，因此已经没有讨论的必要。”他遂即向中央全会递交了决议，并获得一致通过；决议宣布：“鉴于年事已高和健康状况恶化，解除尼·谢·赫鲁晓夫的一切职务”。中央委员会还通过了另一项决议：一个人不能同时担任党中央第一书记与部长会议主席这两个职务。
新当选的第一书记勃列日涅夫做了简短发言，他指出再进行反批评也无意义，他还建议不要在各级党组织会议上对罢免赫鲁晓夫的问题进行详尽的讨论；此外在非党群众参加的会议上，评论也应当仅限于公开新闻报道的情况。他要求中央委员会对一切试图采取仓促措施的行动都要坚决顶住，因为考虑不全面的行动只会使形势进一步混乱。问题要一步一步解决。第一步应当将州委组织合二为一，第二步是国家经济结构上的重新组织工作。要采取措施增加市场上的食品供应，1964年的好收成对此极有帮助。应当改革价格体制，采取措施改善全国人民的生活水平，应当减少处女地垦区的耕地面积。
赫鲁晓夫漫长而活跃的执政时期与新领导体制之间，只有极短暂的间隔，一纸简单明了的协议便确定了他的下台离职。一位西方观察家日后曾这样评述过这次中央全会：“尽管也有可能存在某种程度上的支持，但全会都投票反对赫鲁晓夫。在某种意义上讲，这正是他的最佳时光，斯大林的继任者竟会被投票表决这种简单温和的方式赶下台，这在10年前是人们想都不敢想的。”
赫鲁晓夫本人对此亦有同样的见解。那天晚上回到家中，他把公文包往墙角一扔，嘴里说道：“唔，这下儿好了。我现在退休了。也许我做的最重要的事情正是这样吧。他们能轻而易举地通过投票把我搞掉，要是换了斯大林，早就把他们统统抓起来了。”