1937年，乌克兰境内被捕的党员人数超过了15万。随着内务人民委员部支配了这个加盟共和国的最高权力，人民不得安宁，他们头顶上翻滚大恐怖的恶浪，一浪高过一浪。无论在乌克兰还是在莫斯科，州委书记、人民委员、大企业经理、市州两级苏维埃主席以及集体农庄和国营农场的领导，这些党的领导干部接二连三地销声匿迹投入大牢。大规模的逮捕在乌克兰加盟共和国各处发生，同年，那里的党的领导机构全部被摧垮：波斯蒂舍夫由于所谓“缺乏警惕性”被撤销中央政治局候补委员的职务，由赫鲁晓夫取而代之；斯·阿·库德里亚策夫被捕入狱，潘·彼·柳布钦科自杀身亡，尼·费·吉卡洛、弗·彼·扎东斯基、缅·马·哈塔耶维奇被逮捕并遭枪杀；乌克兰共产党中央委员会书记、著名历史学家尼·尼·波波夫受捕下牢死于监狱。到12月份，幸免于难的只剩下斯·维·科西奥尔和格·伊·彼得罗夫斯基两人，但他们的厄运很快也来临了。同月，科西奥尔参加完苏联最高苏维埃第一次会议之后，在返回基辅途中突然接到通知要他重返莫斯科，原由是他已被任命为人民委员会副主席这一荣耀的职位。这是个诡计，因为斯大林正准备把这个曾与自己唱对台戏的人彻底清洗掉。现在仅存的只有彼得罗夫斯基了，可是就在他六十诞辰庆祝会之后，也被撤消官职并奉命离开乌克兰。
斯大林决定要为这个加盟共和国创建一个全新的领导班子。1938年1月29日，报纸上发表的公告指出，乌克兰共产党中央委员会举行全会，选举尼·谢·赫鲁晓夫担任代理第一书记。当时，乌克兰党中央政治局全体委员的头衔前都带有“代理”一词，直到6月才在乌克兰共产党十四大上，由大会代表选举了新的一届中央委员会和政治局。赫鲁晓夫先前的任命得以确认，他还当选为基辅市委第一书记。7月底，新组建的乌克兰最高苏维埃在该市举行了第一次会议。
在这轮横扫乌克兰的大清洗中，赫鲁晓夫难脱干系，那种认为他未曾插手的观点并不准确，不过当他重返这个加盟共和国之际，恐怖浪潮的势头已有所缓和。这时当然还有逮捕活动，而且得到了他的批准，不过许多按着他的旨意被调离职守的州委书记和人民委员只是遭到了降级处分而没有被逮捕。在许多讲话和报告中，他对那些已经被害的人避而不谈，只是在偶然的场合下才间接地提到那些无踪无影的“叛徒和资产阶级民族主义分子”。例如，在莫斯科召开的联共十八大上，他在讲话中谈到乌克兰文化与经济重建工作的进展时，曾插上了这么一段话以评述人民对上述那些人的愤恨：
柳布钦科分子、赫威利分子、扎东斯基分子之流的卑鄙间谍和其他无耻之徒，这些恶棍、人类的渣滓为苏维埃乌克兰劳动人民所抛弃。法西斯分子在这些乌克兰人民的敌人的协助下企图奴役苏维埃乌克兰。这个阴谋没有得逞，也永远不能得逞！我们顺利而成功地粉碎了这伙法西斯代理人——所有这些卑鄙的托洛茨基分子、布哈林分子和资产阶级民族主义者。这首先应归功于我们的领袖，我们伟大的斯大林本人的努力。
但是总的来说，新领导基本上还是采取了埋头苦干的作风。报纸布满了从事于工业生产、教育和体育事业的劳动者的照片，而党内高级干部活动的照片极少出现。
1939年上半年，赫鲁晓夫的主要精力集中于这个加盟共和国工农业的发展问题。他几乎巡视了乌克兰所有的大城市，并组织了一些专门讨论农业问题的代表会议。在前两年大恐怖浪潮之后，又掀起了一股授勋发奖的热潮，一些新的勋章和奖章问世。这些奖章被授给了成千上万的先进工作者。而赫鲁晓夫本人也得到了他第二枚勋章——劳动红旗勋章。
1939年8月下旬，赫鲁晓夫是在莫斯科度过的，当时他监管着全苏农业展览会上的乌克兰展厅的工作。此时的气氛很不平静。斯大林正全神贯注于同里宾特洛甫的谈判活动，虽然赫鲁晓夫未曾参与其间，但他自然了解这项条约中包括的有关波兰的秘密条款。这项条约一经批准，他又火速返回乌克兰，投入到有关军事行动的紧张准备工作之中，因为他是基辅特别军区军事委员会的委员之一。几十个师调集到波苏边境。9月17日，这些军队越过边境占领了当时还是波兰领土的西乌克兰和西白俄罗斯地区。这场胜利实在是轻而易举。因为波兰军队几乎没有抵抗就投降了，当时它已被德军击溃正在败退之中。9月20日左右，苏联红军部队已进入西白俄罗斯的格罗德诺和西乌克兰的利沃夫。整个军事行动过程中，赫鲁晓夫一直为刚组建的乌克兰方面军而奔波操劳。10月底，西乌克兰人民议会经选举产生，并通过了一项支持该地区加入乌克兰社会主义加盟共和国的决议，赫鲁晓夫同乌克兰方面军司令员谢·铁木辛哥两人一起并排就座于会场的贵宾包厢。
这项决定造成了诸多恶果，为此以后不少人为之痛悔不已。西乌克兰地区开始有计划地采取了一系列粗率的措施以加速社会主义进程，并且驱逐了该地区许多“异己分子”。1939年向东后撤的波军残部被悉数拘押起来。在农村地区，乌克兰人确占多数，但在城市里，诸如利沃夫、鲍里斯拉夫、德罗戈贝奇和科韦耳，大多数居民却是波兰人和犹太人。而当时大批波兰难民当中的不少人已决定一旦战事平息就要重返德军占领下的波兰故土。波兰知识分子对祖国独立沦丧的速度深感震惊和悲哀。这一地区几乎没有什么共产党人，早在1937年，共产国际就已决定将波兰、西乌克兰和西白俄罗斯三个共产党全部解散，它们的领袖亦被捕并遭镇压。这一行动完全是听信诬蔑不实之谣传的后果。因此，这一地区的党组织只好草草建立，并且是东拼西凑的结果。另外，西乌克兰地区的社会主义改造搞得也过快了。银行和工商企业一律实行国有化，并建立起生产合作社。在农村地区，剥夺了富农的农场，并创立集体农庄取而代之。地主的财产则被没收。
西乌克兰地区的资产阶级陷于一片混乱，他们很清楚反抗是徒劳的，是无济于事的，因此这些改造并未遇到多少反对行动；尽管如此，还是做出决定，将某些波兰人、犹太人和乌克兰人的所谓的“社会异己分子”集团驱赶到了苏联东部地区。大多数人被流放到西伯利亚的一些小城镇。而这一切仅仅是开始。战后在西乌克兰、西白俄罗斯和波罗的海沿岸国等地区，对各种民族团体实施的分化驱逐行动变得更为迅猛。
在乌克兰的其他地区，行动则相对和缓一些。三十年代是一片动乱和绝望，先是集体化运动，接着是1932-1933年的大饥荒，后来又是1937-1938年血腥镇压所谓“资产阶级民族主义分子”和“破坏分子”的大恐怖运动，在此之后便是一个巩固喘息的时期了。商店中出现了货物，在市场能买到集体农庄供应的廉价肉类产品、牛奶和面粉。新工厂接二连三开工投产。顿巴斯的煤炭产量十年间增长了三倍。
乌克兰被视为苏联的粮仓。赫鲁晓夫发现，较之往日高居莫斯科办公室的年代，自己现在更大量的时间都要用在农业方面的工作上。他的足迹几乎遍及整个共和国的大地，到处鼓励农民力争上游夺取高产。在这方面，赫鲁晓夫又因为结识了遗传学家李森科而大受鼓舞，后者当时是斯大林的忠实门徒。
乌克兰党的领导机构几乎没有什么变动，只有伊·亚·谢罗夫被任命为内务人民委员部委员。他同赫鲁晓夫结交共事时间非常长。此外，赫鲁晓夫还与格·康·朱可夫相识并与之结下了持久的友谊。当时朱可夫取代铁木辛哥担任了基辅特别军区的司令员，而后者则被任命为苏联国防人民委员。
1940年6月底，德国不得不同意苏联的要求，在斯大林的压力下，罗马尼亚被迫“和平地”向苏联交出了整个比萨拉比亚地区以及北布科维纳，当时这里大多数居民是乌克兰人。到这时为止一直是乌克兰一部分的摩尔达维亚社会主义自治共和国又与比萨拉比亚大部地区合组为一个新的苏联加盟国——摩尔达维亚社会主义加盟共和国。比萨拉比亚的余部及北布科维纳则纳入乌克兰。此刻，几乎所有的乌克兰人都生活在一个共和国的疆域之内了。
战争的阴影越来越浓，对于即将降临的灾难，人民并不糊涂。而斯大林的旨意却是要让人民相信，正在席卷欧洲其他国家的战火会绕开苏联人民走。米·伊·加里宁在纪念十月革命胜利23周年的那次讲话就是典型的例子。他说：“在当今世界各大国中，未曾卷入战火又严守中立的只有苏联……当全世界处于这样一场战争的魔爪之中，能够置身其外确为天大的幸运。”这种信心似乎也可找到某些佐证。1941年农业收成的前景相当乐观，工业生产形势良好，煤炭产量正在增长，由于西乌克兰地区的到手，石油产量也在增加。赫鲁晓夫正处在巅峰之上；几个集体农庄以他的名字命名，顿涅茨工业学院建院20周年之际，他还荣获了劳动红旗勋章，该学院的名称也冠之以他的大名。
尽管如此，对于斯大林那种认为德国人再不会把苏联拖入战争的担保，赫鲁晓夫还是持审慎看法的。朱可夫新近调任红军总参谋长，基辅特别军区司令员一职由米·彼·基尔波诺斯上将接任。至此以来，来自苏德边境的各种报告使赫鲁晓夫与基尔波诺斯两人都深感忧虑。赫鲁晓夫经常前往边境地区检查战备工作的进度。所见所闻使他极其警觉。整个工作进展非常缓慢，大多数部队的军力尚处于和平时期的水准上，弹药供应大量缺乏。一天，当他发现某些边境坦克部队竟然没有弹药，甚至连实弹演习都进行不下去，不禁火冒三丈，大发雷霆。他竭尽所能以补充某些缺乏的物资，然而他同基尔波诺斯就有关加速防御工事的建筑、充分加强边境部队战斗力以及向它们提供武器弹药等问题联名上书斯大林的报告却石沉大海。
1941年6月中旬，赫鲁晓夫不得不滞留于莫斯科，但是20日那天的消息却令人惊惧不安，于是他才获得斯大林批准返回基辅。他告诉斯大林，恐怕他还未赶到家，战争就会爆发。赫鲁晓夫的忧虑有着充分的根据。
基辅市刚刚建成一座大型体育馆，并以赫鲁晓夫的姓名命名。6月20日和21日那两天，工人们加班加点，日夜不停，准备在6月22日周日那天准时交工以便按计划举行开幕典礼。基辅大学也刚好准备接收一批新生入学。然而体育馆落成式再也没举行，大学入学考试再也未举办。6月21-22日深夜，德军第七十四步兵师的一名中士跑过苏联边境。他报告了德军将于拂晓发动总攻的情报。基尔波诺斯火速通知了赫鲁晓夫和朱可夫，半小时内消息又呈送到斯大林面前，斯大林却几乎没有理睬它，回别墅休息去了。但莫斯科的朱可夫和基辅的赫鲁晓夫却不敢大意，他俩都整晚未眠。他们对事态最坏的猜测很快就变成了现实。
6月22日凌晨，德国军队跨过边界向驻守的边防军和红军部队发起总攻。连同乌克兰一些城市在内的几十个城市都遭到敌机轰炸。战争开始了。