次日，朱可夫就被解职派往叶利尼亚前线。在他指挥下，红军成功地实施了一次反击，局部挫败了德军。然而西南方面军却不得不忍受着斯大林的固执己见与错误的指挥。按照赫鲁晓夫的提议，西南方面军军事委员会，则独自决定放弃基辅。消息传到基辅，坐镇该城的基尔波诺斯却举棋不定，因为他已经传达了斯大林的命令，不惜一切代价死守基辅。结果，德寇对驻守基辅周围的苏军部队实行合围，苏军被迫在9月21日缴械投降。只有很少几支部队突破了重围，大多数主力部队的广大指战员不是战死沙场，就是当了战俘送入集中营。整个西南方面军司令部指挥人员几乎全部遇难。
当时赫鲁晓夫同布琼尼都在包围圈之外。然而在基辅失守之后，防线被撕开一个缺口，司令员想堵住缺口，却没有足够的后备部队。德寇在毫无抵抗的情况下一路东进，最后占领了第聂伯河左岸乌克兰的全部地区。不过敌人也并非一帆风顺，赫鲁晓夫以超人的勇气使他们的美梦受到扰乱。
哈尔科夫市中心有一所孤零零的大房子，赫鲁晓夫就把指挥部设在那里，但这时部队已经计划好一仗不打便退出该城，向东北方向的沃罗涅日和库尔斯克后撤。军工专家伊·图·斯塔利诺夫刚好设计出一种可以用远距离无线电信号遥控引爆的重型地雷；这种地雷被大批安装在指挥部住所之下，赫鲁晓夫则泰然无事继续在房内生活工作。第一批德军进入哈尔科夫之前两三个小时，他才撤离该处。虽然德军在城中伏下了间谍，不过没有提出什么疑问。果然不出所料，经过一番一般的检查之后，德军便把司令部署在此房之中。几个星期之后，从距库尔斯克不远的地方发出的无线电信号，引爆了这所房子下面的地雷。在一阵惊天动地的爆炸声中，大批德国将军和司令部军官被炸死。
在1941年夏秋两季那些严峻的日子里，赫鲁晓夫难得在大庭广众之下发表演讲，此刻已不是他演讲的时候了；而且要向正在被围困中的乌克兰人民解释前线为何出现这么严重的军事溃退，也实为难事一桩。即使如此，赫鲁晓夫还是在7月8日向乌克兰人民发表讲话，他号召大家向敌寇展开无情的斗争。几天后，他和布琼尼一道又要求人民展开游击战打击敌军。半年之后又发出一次呼吁。在谈到红军于莫斯科城下及其他战线上的胜利之后，赫鲁晓夫和加盟共和国其他领导人再次激励乌克兰人民全面展开游击战，唾弃德国人的命令，采取一切可能的措施阻止敌人劫掠乌克兰的谷物和肉类。呼吁书最后宣告：“我们正在竭尽全力为你们的解放进行斗争！”
红军部队1942年2月3日的军事反攻战绩不大，但是随着春天的到来，气候的转暖，反攻行动的准备工作再次开始。在一系列最重大军事行动中，夺回哈尔科夫是目标之一；赫鲁晓夫则是负责执行此任者中的一员。然而最高统帅部却不能按照西南方面军指挥员的要求配置足够的兵力。因为，苏军尽管突破了敌军某些防线，有所推进，但却无法扩大战果。更糟的是，德军司令部在克拉马托尔斯克地区集结了一支兵力足以斩断苏军突击部队的大军。据赫鲁晓夫讲，他曾两次打电话给斯大林，请他批准后撤几个苏军师团并停止哈尔科夫的军事行动。由于斯大林拒绝接电话，两次都只能与马林科夫通话；马林科夫传达了斯大林反攻还应继续的指示。对这一情况，朱可夫另有一种记述。他声称，西南方面军指挥部向斯大林担保，德寇在克拉马托尔斯克的集团军不会形成巨大威胁，而且苏军能够承受得了敌人的进攻；只是由于这一点，斯大林才没有下令取消这次军事行动。这两种观点哪个更正确，难以断论，但结果却是红军遭到惨重损失，被俘战士就达15万人。
几天后，斯大林把赫鲁晓夫召到莫斯科。赫鲁晓夫做好了甚至遭到被捕问罪的最坏准备。斯大林让他等了几天才派他返回前线，这回是去斯大林格勒担任军事委员会委员。安·伊·叶廖缅科是当地苏军的司令员。
乌克兰游击队运动分布很广，指挥这方面的斗争也是赫鲁晓夫肩负的一项任务。在敌占区已组织起几百个游击队和“牵制小组”；地下州委、区委和市委组织也已建立。后来甚至还组建了一个乌克兰共产党地下中央委员会，它也受以赫鲁晓夫为首的正式中央委员会领导。地下抵抗运动在某种程度上牵制了占领军，并给予他们以一定的打击。然而，伴随着抵抗外敌的借口，民族主义随之抬头，并出现了各种各样的组织；其中某些组织还在占领当局庇护下进行活动。象乌克兰起义军和乌克兰人民革命军这类民族主义组织是以西乌克兰地区作为活动中心的；它们以暗中消除共产党人在人民当中的影响作为主要任务。于是共产党领导的游击武装又和德国人一样，时常要被迫同这些民族主义分子作战。