1920年底，赫鲁晓夫返回顿巴斯，直至1928年初，他一直参与乌克兰的地区基层组织工作，因而获得乌克兰党中央第一书记卡冈诺维奇的注意。不久，卡冈诺维奇便把赫鲁晓夫调升为乌克兰最大城市——基辅市的组织部长。

1929年，苏联政府为了培养国营企业领导及中央一级的经济工作干部，决定在莫斯科创办一所工业学院，招生对象是工业、企业的党员领导者，并规定对工人出身的企业干部优先考虑。赫鲁晓夫于是弃官求学，并在其原上司卡冈诺维奇相助下，顺利入学。 虽然最后他没有完成学业，但在政治上却飞黄腾达。1930年，赫鲁晓夫成为莫斯科最大的区——克拉斯诺普雷斯奈斯基区的党委书记。

1934年，赫鲁晓夫在第十七次党代表大会上被选入「联共」中央委员。1935年，卡冈诺维奇被任命为交通人民委员，赫鲁晓夫接替了卡冈诺维奇的职务，成为莫斯科州委兼市委第一书记。 短短数年间，赫鲁晓夫从一寂寂无名的乌克兰地区基层干部，摇身一变成为首都所在的州委第一书记。