赫鲁晓夫是基辅特别军区军事委员会成员之一，实际上就是军区政治委员，换言之是军区司令员专门负责政治工作的代表。苏军一个军区所属的各军事单位的政治部都要统归军事委员会一名委员一手掌管，没有此人的参与和认可，不管是军区还是后来集团军的司令部都不能做出任何重大决定。更重要的还在于，赫鲁晓夫身兼联共中央政治局委员和乌克兰党中央第一书记这双重要职，故而手中权力又重三分，他凭此可以对全乌克兰工业的顺利运转、交通运输的畅通无阻、民防部队的筹组建立以及动员居民修筑防御工事等要务实行监督检查等。自不待言，从战争爆发第一刻起，赫鲁晓夫的注意力便全部集中到有关军事问题以及同乌克兰战时资源分配有关的种种任务之上。
战争爆发后，红军处境极为被动。伊·沃·秋列涅夫指挥的南方方面军奋力阻挡德国和罗马尼亚军队跨过普鲁特河侵入比萨拉比亚，一直坚持到7月16日。尽管如此，敌军最后还是突破防线，抵达摩尔达维亚首府基什尼奥夫城下，迫使苏军一直后撤到德涅斯特河岸。在那里，苏军准备重组新的防线。在基尔波诺斯指挥的西南防线上，德寇迅速击败了边防部队以及预先布置迎敌的苏军第五六和二十六军的抵抗。西乌克兰的城镇接二连三沦入敌军之手。苏军被迫后撤到原先的边境线。但是此线以东地区昔日曾有设防，现在却毫无军备，于是德国机械化军团得以东侵长驱直入。6月30日，敌军攻占利沃夫。7月7日，德寇某军团以一周推进200多公里的速度攻入别尔季切夫；与此同时，另一支坦克军团又夺取了日托米尔，而此城仅西距基辅约120公里。尽管德军主力仍被阻止在旧防区以内，但7月11日冯·克莱斯特的坦克军已经插入基辅周围防区的前沿阵地。如此说来，德寇的目的是要顺便夺取基辅，而后绕到苏军南方方面军与西南方面军南线防区的背后，最后对当地作战的苏军实行合围。形势极为严峻，许多军事指挥员都感到有心杀贼，无力回天，对前途失去信心。日后赫鲁晓夫曾这样追忆当年战事：
……情况对我方来说极为不利，我军处于困境……在战争爆发后的五六天，方面军司令员同我一起，派遣军事委员会一名委员瓦舒金将军前往某坦克军指导该军尽可能有效地利用燃料的工作。瓦舒金从前线一回来就来找我，他整个儿都变了，胡言乱语，行为怪诞，精神错乱，他嚷道：“一切都失掉了，和法国大败时的局面一个样。一切全完了，我得开枪自杀！”我努力制止他：“你疯了吗？！快点儿重新振作起来！”但还没等我再做什么，他就当着我的面儿拔出手枪自尽了。
赫鲁晓夫和基尔波诺斯两人担负着保卫基辅的重任。整个乌克兰上下都在赶制武器弹药，其中主要是反坦克手榴弹和燃烧瓶。对基辅防区严重失修的状况以前是听之任之，现在则重新把防区迅速变成了战争堡垒，大小碉堡无一不漏武装起来。全城居民动手，在城区四周挖筑了一条反坦克深壕。民防卫队也组建起来了。这些措施足以挡住德寇原计划轻易拿下基辅的行动。7月下半月加上8月一整月，基辅城外发生一场大的激战，德军主力受到阻滞。可是在城南城北两个方向上，敌寇还是死死地压住了红军，而且进一步向东推进。这样，就形成了一个基辅防区大突出部的军事态势；由于德军握有战场主动权，这种态势对于处于被动的红军来说，实在极其危险。如果德军一部从中间位置移兵南下，红军主力就会被一刀两断，其后果不仅是基辅失守，而且整个南部防线都会遭到严重打击。对红军部队来说，撤出基辅而后在通往哈尔科夫与顿巴斯的公路沿线另组新的防线，尚为时不晚。这一权宜之计得到基尔波诺斯和赫鲁晓夫以及时任西南方面军司令员的布琼尼一致赞同。然而斯大林却下令严禁红军放弃基辅。
战争爆发后最初几个月时间里，斯大林的状态极其摇摆不定。面对危局，他一开始也差不多陷于绝望，感到扭败无戏，无从下手。一个夏日，正值乌克兰地区鏖战甚急，斯大林把赫鲁晓夫召回了莫斯科。
（赫鲁晓夫回忆）我走进统帅部驻地时，见到了斯大林。当时统帅部设在基洛夫大街（那时叫米亚斯尼科夫大街）的地铁车站里。他已经一蹶不振，躺靠在一把睡椅里，看上去心力交瘁。我进屋后，他对我的问候敷衍作答，握了握我的手，接着问起前线情况如何。我告知他情况很不好，我们正在败退。他马上暴躁地摔给我一句，“好嘛，他们以前老是奢谈什么俄国人的胆略。可现在它跑到哪儿去啦，这种俄国人的胆略？”我感到十分愤怒。斯大林怎么能……这样指责俄国人民呢？……对于我们军队遭受的失败，应当指责的正是他斯大林本人，因为他摧垮了我们的干部队伍，而且也没有充分利用我们苏维埃人民用劳动血汗创造出来的全部物质财富……
但到了秋天，形势的缓和使斯大林恢复了常态。基辅和斯摩棱斯克外围的战役已经基本抑制住德军的全面攻势；德军在列宁格勒城下业已裹步不前；在南方战场，德国和罗马尼亚军队在奥德萨受到顽强的阻击，然而斯大林却缺少战略眼光，经常发出一些相互矛盾的命令，也没有认识到灵活机动的必要性，而且不相信自己的军事指挥员。朱可夫曾试图让斯大林相信，放弃基辅实属明智之举，后来他对当时的情况做过下列一番描述：
……接着我又说下去：“西南方面军必须马上全部撤过第聂伯河。我们必须集中不下5个加强师的预备兵力，在中央方面军和西南方面军接合部的后方集结。”
“但是基辅怎么办？”斯大林问道。
我清楚，“放弃基辅”这几个字对全体苏联人民以及斯大林本人都意味着什么。但我不能感情用事，而且作为一名军人，我也有责任提出当时情形下唯一可能的解决方案……
“我们不得不放弃基辅。”我回答道。“我们必须在西部战区马上组织一次反攻以便夺回叶利尼亚突出部。不然敌人以后可以利用这个桥头堡进攻莫斯科。”
斯大林反驳我道：“你说的反攻在哪儿呢？把基辅丢弃，让给敌人，这样的馊主意你也能讲出口？！
我也忍耐不住了，回答说：“如果你认为你的总参谋长只会胡言乱语，那么他在这儿还有什么可干的。我请求解除我的职务……把我派到前线去……”
“不要激动，”斯大林说，“再说了，如果你决心采取这种态度，那么没有你我们也能行。”
次日，朱可夫就被解职派往叶利尼亚前线。在他指挥下，红军成功地实施了一次反击，局部挫败了德军。然而西南方面军却不得不忍受着斯大林的固执己见与错误的指挥。按照赫鲁晓夫的提议，西南方面军军事委员会，则独自决定放弃基辅。消息传到基辅，坐镇该城的基尔波诺斯却举棋不定，因为他已经传达了斯大林的命令，不惜一切代价死守基辅。结果，德寇对驻守基辅周围的苏军部队实行合围，苏军被迫在9月21日缴械投降。只有很少几支部队突破了重围，大多数主力部队的广大指战员不是战死沙场，就是当了战俘送入集中营。整个西南方面军司令部指挥人员几乎全部遇难。
当时赫鲁晓夫同布琼尼都在包围圈之外。然而在基辅失守之后，防线被撕开一个缺口，司令员想堵住缺口，却没有足够的后备部队。德寇在毫无抵抗的情况下一路东进，最后占领了第聂伯河左岸乌克兰的全部地区。不过敌人也并非一帆风顺，赫鲁晓夫以超人的勇气使他们的美梦受到扰乱。
哈尔科夫市中心有一所孤零零的大房子，赫鲁晓夫就把指挥部设在那里，但这时部队已经计划好一仗不打便退出该城，向东北方向的沃罗涅日和库尔斯克后撤。军工专家伊·图·斯塔利诺夫刚好设计出一种可以用远距离无线电信号遥控引爆的重型地雷；这种地雷被大批安装在指挥部住所之下，赫鲁晓夫则泰然无事继续在房内生活工作。第一批德军进入哈尔科夫之前两三个小时，他才撤离该处。虽然德军在城中伏下了间谍，不过没有提出什么疑问。果然不出所料，经过一番一般的检查之后，德军便把司令部署在此房之中。几个星期之后，从距库尔斯克不远的地方发出的无线电信号，引爆了这所房子下面的地雷。在一阵惊天动地的爆炸声中，大批德国将军和司令部军官被炸死。
在1941年夏秋两季那些严峻的日子里，赫鲁晓夫难得在大庭广众之下发表演讲，此刻已不是他演讲的时候了；而且要向正在被围困中的乌克兰人民解释前线为何出现这么严重的军事溃退，也实为难事一桩。即使如此，赫鲁晓夫还是在7月8日向乌克兰人民发表讲话，他号召大家向敌寇展开无情的斗争。几天后，他和布琼尼一道又要求人民展开游击战打击敌军。半年之后又发出一次呼吁。在谈到红军于莫斯科城下及其他战线上的胜利之后，赫鲁晓夫和加盟共和国其他领导人再次激励乌克兰人民全面展开游击战，唾弃德国人的命令，采取一切可能的措施阻止敌人劫掠乌克兰的谷物和肉类。呼吁书最后宣告：“我们正在竭尽全力为你们的解放进行斗争！”
红军部队1942年2月3日的军事反攻战绩不大，但是随着春天的到来，气候的转暖，反攻行动的准备工作再次开始。在一系列最重大军事行动中，夺回哈尔科夫是目标之一；赫鲁晓夫则是负责执行此任者中的一员。然而最高统帅部却不能按照西南方面军指挥员的要求配置足够的兵力。因为，苏军尽管突破了敌军某些防线，有所推进，但却无法扩大战果。更糟的是，德军司令部在克拉马托尔斯克地区集结了一支兵力足以斩断苏军突击部队的大军。据赫鲁晓夫讲，他曾两次打电话给斯大林，请他批准后撤几个苏军师团并停止哈尔科夫的军事行动。由于斯大林拒绝接电话，两次都只能与马林科夫通话；马林科夫传达了斯大林反攻还应继续的指示。对这一情况，朱可夫另有一种记述。他声称，西南方面军指挥部向斯大林担保，德寇在克拉马托尔斯克的集团军不会形成巨大威胁，而且苏军能够承受得了敌人的进攻；只是由于这一点，斯大林才没有下令取消这次军事行动。这两种观点哪个更正确，难以断论，但结果却是红军遭到惨重损失，被俘战士就达15万人。
几天后，斯大林把赫鲁晓夫召到莫斯科。赫鲁晓夫做好了甚至遭到被捕问罪的最坏准备。斯大林让他等了几天才派他返回前线，这回是去斯大林格勒担任军事委员会委员。安·伊·叶廖缅科是当地苏军的司令员。
乌克兰游击队运动分布很广，指挥这方面的斗争也是赫鲁晓夫肩负的一项任务。在敌占区已组织起几百个游击队和“牵制小组”；地下州委、区委和市委组织也已建立。后来甚至还组建了一个乌克兰共产党地下中央委员会，它也受以赫鲁晓夫为首的正式中央委员会领导。地下抵抗运动在某种程度上牵制了占领军，并给予他们以一定的打击。然而，伴随着抵抗外敌的借口，民族主义随之抬头，并出现了各种各样的组织；其中某些组织还在占领当局庇护下进行活动。象乌克兰起义军和乌克兰人民革命军这类民族主义组织是以西乌克兰地区作为活动中心的；它们以暗中消除共产党人在人民当中的影响作为主要任务。于是共产党领导的游击武装又和德国人一样，时常要被迫同这些民族主义分子作战。
1942年12月25日，莫斯科举行庆祝仪式纪念苏维埃乌克兰建立25周年。赫鲁晓夫当时正在斯大林格勒城外肩负军务，故而未能莅会；由此莫斯科又向“正在前线与敌军奋战的布尔什维克军队领导人尼·谢·赫鲁晓夫同志”发去贺电。赫鲁晓夫理应得到这番赞扬，因为他正在恪尽职守勤奋工作。虽然他主要担负政治工作，但是不少军事战略策略问题的商定还少不了他更有甚者，赫鲁晓夫还时常独当一面，亲手解决某些纯属军务的问题。例如有一回，当他意识到斯大林格勒前线两翼还没有全力以赴达到充分防御的最佳状态，便迅即穿过了辽阔的草原地带，从斯大林格勒乘船南下阿斯特拉罕进行观察。他发现某些地方的部队还处在不能应付激战的松懈状态，而且阿斯特拉罕本身也没有做好抵抗德军猛烈进攻的准备。为了加强这条战线的南部防区，他用自己的职权名义连下几道急令，并采取行动确保这一地区得到更好的防御。不过总的来说，赫鲁晓夫的主要职责还是保持各级指战员的昂扬士气，他在这方面的工作的确影响到斯大林格勒战役的最终结局；而这次战役不但对苏联卫国战争而且对整个第二次世界大战，意义非常重大。在战火纷飞的时候，他总是随军而行。一次，他同一支小部队一起躲在距前沿不远的一所临时掩蔽所里。敌军的炸弹在四周不断爆炸。部队指挥员建议大家立即全部转移到更安全的地点。没过几分钟，一颗重磅炸弹一下子击中了部队刚刚撤出的掩蔽所。这样的轶事很多，并都有着一个戏剧性喜剧结局，对此，战士们津津乐道。
赫鲁晓夫参加了1942年12月苏军斯大林格勒大反攻的准备工作。红军最终完成了对敌人的大合围。经过两个月的激战，德寇最终全线投降。随后红军斯大林格勒集团军群被分散另组，赫鲁晓夫又被派往南方方面军；该军先由叶廖缅科统率后来又换了罗·马利诺夫斯基。经过几次成功的进击之后，南方方面军的部队解放了顿河畔的罗斯托夫以及乌克兰一些地区。1943年2月17日，沃罗涅日集团军的部队打到哈尔科夫，但他们在受到德寇一次突然反击后又被迫急速撤出该城。“由于指挥军务机智勇敢”，赫鲁晓夫中将获得了自己首枚军功章——苏沃洛夫二级勋章。
库尔斯克战役是卫国战争中继斯大林格勒战役之后一次最重大的军事活动，苏军再获全胜，由此又打开了进军乌克兰的通道。8月底，哈尔科夫再度解放；9月和10月期间，莫斯科城内庆祝乌克兰其他主要城市获得解放的礼炮，接二连三不断鸣放。11月2日，驻守第聂伯河东岸柳帖日桥头堡的苏军接到了第一乌克兰方面军司令员瓦杜丁将军和赫鲁晓夫进军基辅的命令。三天后，苏军在该城郊区扫清道路奋勇进军；经过11月5-6日夜间的激战，基辅的德寇被扫荡一空。
大军解放基辅时，赫鲁晓夫一直在军中忙于处理军务，并且跟着部队开进基辅城，此时基辅城火光冲天，一片狼藉。几小时后，乌克兰加盟共和国其他领导人与他汇合一处。11月8日，他向斯大林发出了有关基辅现状的报告。在报告中他描述了该城惨遭浩劫的情况，大多数居民被敌人强迫撤走，许多人惨遭杀害，其他人则逃往市郊乡间隐匿藏身。他写道：“基辅真象是一座死城。”
苏军一旦在解放地区站稳脚跟并打退了敌人对基辅的反攻，便迅速开始准备向南方发起新的进军，这一计划在1944年春季投入实施。然而这次赫鲁晓夫却没有再随大军南下，一项更光荣更艰巨的任务降临到他肩上——重新建设已被战火破坏的乌克兰经济，恢复这个共和国的秩序。1944年2月6日，乌克兰苏维埃社会主义加盟共和国最高苏维埃主席团任命他为乌克兰人民委员会主席。同时，他仍兼共和国党中央第一书记。