但是，由于在十月革命后建立的反布尔什维克党的南高加索联邦的敌视，阿塞拜疆、亚美尼亚和格鲁吉亚还是被分成了单独的国家。在1918年泛突厥语系（pan-Turkic）的孟什维克党在巴库（Baku）掌权之前，尚没有正式意义上的阿塞拜疆。[3]同时，它与亚美尼亚和格鲁吉亚处于苏维埃政权的管理之下，已具有了国家的雏形，布尔什维克党试图在那里建党立政。
1918年12月，正是斯大林，起草了承认爱沙尼亚、拉脱维亚和立陶宛为苏维埃共和国的法令[4]，作为权宜之计接受了它们。后来，他将此称为“民族自由主义”。[5]但是，法令实际执行起来却非常棘手，因为这些国家缺少本地的布尔什维克党和积极分子。通常情况下，那些当地的布尔什维克党是犹太人而非命名民族。虽然当时斯大林因不在莫斯科而不能参加会议，但他也加入到了讨论中来。对于是否指定穆斯林社会民主党（Hümmet）组织为阿塞拜疆新的共产党，斯大林拥有个人否决权。当时，他只想知道穆斯林社会民主党党员作为地区性的重要势力，是否值得信任。[6]随着内战的结束，对于俄国的未来做永久性的制度设计，成为重要问题。对此，斯大林毫不怀疑。直到那时为止，苏俄与苏维埃共和国之间都有双边协定。人们虽然认为这些国家支持苏俄，但无论如何，在其他共和国，党的中央委员会控制着共产党。[7]一个中央集权国家在莫斯科运作，早已成为不争的事实。斯大林想要做的，是通过将苏维埃共和国吸收到苏俄的国家体系中，从而将政府结构纳入那些国家的党的路线中来。
计划实施之初，斯大林如愿以偿。内战将乌克兰的军事、经济和运输事务方面的人民委员会与苏俄相应的人民委员会统一之后，苏俄与乌克兰苏维埃社会主义共和国（UkraineSovietSocialistRepublic）协商了“联盟法案”。当然，苏俄各人民委员会凌驾于乌克兰各人民委员会之上。但是，后来委员会决定不再支持他进行全方位合并的基本目标。[8]在这件事情上，加米涅夫是主要反对者，列宁也持批判态度。因此，他们长期的合作中所出现的罅隙，就这样水落石出。列宁从国内战争的历史中得出结论，认为从正式的制度安排的角度而言，苏俄必须坚持撤退到边界地区，乌克兰和其他地方的苏维埃共和国必须保留。而斯大林所期望的是扩大苏俄的范围，并将乌克兰变成苏俄国内的一个“自治共和国”。由此来看，一场大范围的争论正在酝酿中。
实际上，自治共和国的建立早在国内战争期间就已经开始。从1920年开始，该政策得以广泛执行，并作为地方政府的民族区域原则扩展到巴什基尔（Bashkirs）、鞑靼（Tatar）、吉尔吉斯（Kirgiz）、楚瓦什（Chuvash）、马里（Mari）、卡尔梅克（Kalmyks）、沃茨（Vots）、卡累利阿－芬兰（KarelianFinns）等地。[9]不过，这些目标是在不断的争议声中实现的。官方授予当地国家和种族群体的权利使自治区域和自治省份的俄罗斯民族的居民怨声载道，他们认为自己作为苏俄公民的地位已屈居二等，但政治局竭尽全力改善非俄罗斯民族的状况。尤其是以俄罗斯民族人口为主的城镇，没有几个被囊括到自治共和国中去。因此，从经济和行政管理方面而言，自治共和国可能成为独立体。[10]这些情况在莫斯科引起了各方面的讨论，但不费吹灰之力就能解决问题的答案却是屈指可数。布尔什维克党试图将古老的王朝去帝国化，不允许它们四分五裂，成为单独的民族国家。这是一项前无古人的事业，没有现成的模式可供复制。在这项开创性的工作中，斯大林成为政治局公认的专家。
通常情况下，斯大林插手的都是些麻烦事，这次也不例外。成立于1919年的鞑靼－巴什基尔共和国很快功亏一篑。原因在于，鞑靼人和巴什基尔人并非最好的伙伴，且当地俄罗斯民族的居民反对被摒除出势力范围之外，种族内部的暴力冲突也使整个地区满目疮痍。在这种情况下，政治局派红军前往当地进行秩序重建。同时，斯大林决定鞑靼人和巴什基尔人应当有各自的民族区域单位，这是需要保持的基本的政策取向。而坚持这种取向，就意味着要冒犯当地的俄罗斯民族的居民。斯大林对此置若罔闻，继续坚持建立自治共和国。[11]
除了他的出生地高加索地区，没有哪个区域给他带来更加棘手的问题了。无论是在高加索山脉的南侧还是北侧，一方面，各民族相互交融的现象屡见不鲜。另一方面，民族间相互对立亦长期存在，矛盾尖锐。斯大林独独不能在克里姆林宫解决这个问题，因此，9月14日，政治局委派他前往北高加索。苏波战争中斯大林的沮丧情绪使他此后获得了更大范围的主动性和回旋余地[12]，因此，他对这种任务非常感兴趣。斯大林一到北高加索，就批准建立了山区苏维埃社会主义自治共和国（MountainRepublic）。按照他的想法，该共和国将车臣人（Chechen）、奥赛梯人（Ossetian）、卡巴尔达人（Kabardian）联合起来，但不包括哥萨克人。[13]在他看来，哥萨克人，作为俄罗斯民族农夫中的难民的后代，已成为乡村地区控制当地民族的一条渠道。因此，北高加索的很多麻烦都源于安置哥萨克人的实践。如果山区自治共和国有他们的参与，其有效性将大打折扣。1920年10月，斯大林曾向列宁炫耀说，鉴于一些哥萨克人聚居区存在反抗活动，将给予他们示范性的惩罚。[14]尽管后来斯大林有了很高的声望，但他并不特别地偏爱俄罗斯民族，这从他后来对哥萨克人所继续实行的种族清洗中可见一斑。