很难想象，叶若夫如何才能运用这些文件。他的行为表明，这位钢铁般的人民委员，变得有多么绝望。在意识到自己将随时会被逮捕时，他每天都歇斯底里。他的命运全系于斯大林是想改变政策，还是想进行人事变动。如果他想挺过这关的话，就需要斯大林永远致力于国家恐怖主义，且这项工作仍由他来负责。
1938年10月23日，作家米哈伊尔·肖洛霍夫抱怨被内务人民委员部调查，并博得了斯大林的赞同。在这种情况下，叶若夫的影响进一步下降，已经到了能够察觉出来的地步。[2]斯大林要求他一起倾听肖洛霍夫的抱怨。11月14日，斯大林发布命令，要求清洗内务人民委员部中“愧对政治信任”的人。第二天，政治局批准了党和政府的指示，决定停止正由公检特别法庭和特别军事法庭调查的案件。它还于11月17日提出，人民的敌人早已渗透进了内务人民委员部中。[3]对叶若夫而言，这些措施无异于灭顶之灾。因此，他更加疯狂地酗酒，更加放纵地向男朋友们寻求性的满足，更加轻率地谈论政治。[4]当拉夫连季·贝利亚日益以内务人民委员接班人的身份受到斯大林的眷顾时，叶若夫的心理都快崩溃了。11月23日晚间，这群狼一样的人物聚集在一起，其中包括斯大林、莫洛托夫、卡冈诺维奇。会上，叶若夫坦率地承认了自己在逮捕人民的敌人方面的无能，请求辞去内务人民委员的请求。[5]他的辞职请求被接受，可是，他作为中央委员会书记的职位以及作为水运人民委员的职务还是保留了下来。不过，叶若夫盛气凌人、权势甚高的日子结束了。
贝利亚一接手，便恢复内务人民委员部的秩序，并使其接受党的控制。他极端残忍，且很有能力，斯大林相信他能够收拾好叶若夫留下的烂摊子。贝利亚也不是个天使，但与叶若夫不同，他积极地参与到严刑拷打中，还在办公室里保存着笞杖，以便随时使用。同时，他的性格也较其前任更加稳健。斯大林与他一起，发动了一系列的改革。根据1939年1月的指令，允许审讯时使用酷刑这点没有被废除，不过，只是限制在“例外”的案件中使用。[6]有关叶若夫的材料被收集在一起。1939年1月21日，叶若夫最后一次出现在公众的视线中，4月份被捕，第二年便被执行了死刑。这样，整个“公检特别法庭”系统走到了尽头，1937—1938年的噩梦终于结束了。这段时间，也被人们认为是“叶若夫时期”。人们的这种看法，正合斯大林的意思，因为他想将所有的责任都从自己的肩膀上卸下来，推到叶若夫身上。虽然肃反的程序减少了，但并未完全废止。无论是在中央，还是在地方层面，苏共不再每天都牢牢地控制住内务人民委员部。同时，严刑拷打仍在继续使用。肃反运动所造成的狂乱的氛围尚未完全被驱散，斯大林统治下的苏联仍然是一个杀气腾腾的疯人院，大多数领头的狂人们都巩固了手中的权力。
斯大林开始允许其随从们讨论滥用权力问题，此后，叶若夫便被免职了。不过，在两年的时间里，人们被捕的被捕，被杀的被杀。同时，人们也了解到，相当一部分牺牲者并不属于可以被描述为“反苏分子”的那类人。在这个过程中，斯大林在有些方面很有可能是受了叶若夫的误导。叶若夫的职业生涯和生活都有赖于其说服斯大林的能力，使斯大林相信真正的反苏分子和人民的敌人都被逮起来消灭了，而他的这种行为让每个人都如履薄冰。
正如当时的很多人以及后来的一些评论家所猜测的那样，肃反运动不是斯大林主动发起的，因此，苏联到处传播着这样一个观点，即这个过程一旦开始，就完全脱离他的控制。斯大林很可能没有预料到叶若夫领导下的内务人民委员部，会带来这么大的灾难。而且，地方警察机构所逮捕的那些被划为某一种类的人，肯定比会上安排给他们的数额要少。1937—1938年的镇压，总是与“错误的”逮捕相始终，滥用权力和过火行为屡见不鲜。同样真实的是，很多真正的反苏分子逃过了肃反运动，并由1941年成立的德国占领政权随意处置。希特勒的军队不费吹灰之力，就发现了富农、神父和其他反苏分子。这些人，都是苏联的恐怖组织意欲清除的对象。在那种程度上，斯大林的目标真的受到了重挫。尽管它是世界历史上最彻底的镇压运动，但其“肃清”苏联所有真正敌人及潜在敌人的努力，并未取得完全成功。