1939年8月23日，苏联与德国签订了《苏德互不侵犯条约》。赫鲁晓夫此时已升任中央政治局委员，但他并不知晓与德国签约一事。9月1日，纳粹德国入侵波兰，第二次世界大战爆发。9月17日，苏联政府宣布，波兰国家和政府已不复存在，并把原属波兰的西乌克兰和西白俄罗斯划归己有。赫鲁晓夫以基辅军区军事委员会委员的身份，随红军去接收西乌克兰，按照苏联的制度，整顿这些新区域。随着农业、工业以至整体经济发展工作均取得一定成就，赫鲁晓夫在乌克兰的威望越来越高，甚至有几个集体农庄、以及他的母校顿涅茨工学院也改以他的名字命名。

然而，1941年6月22日凌晨，纳粹德国突然发动「巴巴罗萨计划」正式入侵苏联！赫鲁晓夫此时正在基辅任职，史太林任命他为西南战区的政治委员，职权与战区司令员一样，没有他的签署不能发布任何命令。史太林下令赫鲁晓夫死守基辅，但基辅遭到了过百万德军的包围而迅速沦陷，只有赫鲁晓夫和部份将领能突围逃离。基辅失守后，德国称他们在战役中抓获了65.5万名红军俘虏，而据苏联的说法，被围的67.7万红军中只有1.5万人突围逃脱。直至1942年5月12日，赫鲁晓夫和西南战区的红军将领向德军发起了一场大规模反攻，一共64万红军投入战斗。刚开始几天反击进展的十分顺利，然而在5月17日，德军从侧翼发起钳型攻势，使苏联红军陷入险境。由于史太林拒绝撤销反攻计划，红军最终遭到德军的围歼，共损失了267万人，其中被俘20多万人。

战后史太林解除了司令员铁木辛哥将军的职务，并解散了西南战区，又将赫鲁晓夫召回莫斯科。史太林并没有太过责备赫鲁晓夫，而是将他再次派往前线。赫鲁晓夫于1942年8月抵达史太林格勒（今天伏尔加格勒市）前线，他的主要工作是检查部队的战备与士气情况，亲自审讯德国俘虏，征召战俘中的一些人进行宣传工作。

1942年11月，赫鲁晓夫重返史太林格勒前线，任政治委员，并以少将文职人员的身份参加了整场史太林格勒战役，在考验生死的紧要关头，与一批重要的军队领导人包括朱可夫、叶廖缅科、莫斯卡连科、格列奇科与利诺夫斯基等结下了深厚友谊，对他后来的政治生涯给予了很大帮助。