在会上，斯大林自己并没有很出彩的时刻，只是做了组织报告。他像往常一样，脸色阴沉着列举了结构性和数字性的细节，并没有干涉其他会议议程。当他在秘密会议上长时间地报告民族问题时，最危险的事情发生了。各省代表团的团长知道了列宁临终之时对他的批评。格鲁吉亚共产党的对手们借机找茬，相继起来斥责他，大有群起而围攻之势。但斯大林并未退缩，也没有道歉，而是热情洋溢地为官方的政策辩解。
随着时间的推移，斯大林的挫败感日渐减少，但并未完全消失，“三驾马车”内部的压力也让他感到很烦恼。他很明白，季诺维也夫和加米涅夫看不起他，有朝一日给了他们机会，他们肯定会一脚把他踢开。同时，他的健康状况也不容乐观。于是，斯大林再次感到自己蒙受了耻辱，便故伎重演，要求离职。1924年8月19日，斯大林给中央委员会写了一封信。信中，他辩称自己不能再与季诺维也夫和加米涅夫开诚布公地开展工作。他所需要的，是能够休息一段时间。同时，他还要求中央委员允许他退出政治局和组织局，并辞去总书记的职务。他说：
休假期满后，我请求把我安排到图鲁汉斯克边疆区，或雅库茨克省（YakutskProvince），或国外其他地方，从事一些不显眼的工作。
在我休假期间，我请求中央委员会全体会议来决定所有这些问题。就我而言，既然我认为除了我在这封信的第一部分已经做出的那些评论外，其他解释都有损于整个事业，那么，也就不需要多做解释了。[14]
斯大林打算以一个普通的好斗分子的身份回到图鲁汉斯克边疆区，而不是像1913年那样以中央委员会领导人的身份回去。斯大林所要求的降级，甚至比列宁遗嘱中规定的还要厉害。
其实，斯大林的心情非常复杂。他对回北西伯利亚进行了深思熟虑，是值得怀疑的。但他的确很任性、易冲动。当自尊心受到冒犯的时候，他不能再保持沉着冷静，甚至以提出辞职做赌注。当然，这是在冒险。但他以谦逊示人，是要引诱包括一些朋友在内的中央委员会拒绝他的请求，让他的敌人们来承担这个错误。最后，他的这个计谋非常奏效。
中央委员会仍为他保留着总书记的职位，他与加米涅夫、季诺维也夫“算总账”的时机又被推迟了。1924年秋天，斯大林休假回来后，又恢复了以前的沉着冷静，依然泰然自若。在政治局会议之前，他会与加米涅夫和季诺维也夫商量。如果季诺维也夫不在莫斯科，他们三人会秘密地聚在一起出谋划策，然后分别回到政治局。当他和头号敌人托洛茨基相遇时，会硬着头皮握手，相互之间打招呼。同时，他也有所收敛，尽量不显露出自己的野心。列宁逝世后，是加米涅夫，而非斯大林，主持政治局的工作。[15]但斯大林早就开始关心自己的未来。当对手没有让他加入组织局时，他轻松地将他喜欢的人安排进来，取代了他们的位置。在斯大林的领导下，以他为核心的小团体日渐形成。这就像他小时候在哥里的街头帮派，而他总不能成为某个帮派的头目。在他的小团体中，没人比维亚切斯拉夫·莫洛托夫和拉扎尔·卡冈诺维奇（LazarKa-??ganovich）再重要的了。他们两人都是中央委员会的书记，断断续续地领导其中的这个或那个部门，并帮助斯大林掌管组织局。1925年4月，乌克兰共产党的政治问题给克里姆林宫带来了很大麻烦，卡冈诺维奇遂被派往基辅，成为乌克兰共产党中央委员会第一书记。
斯大林也在中央委员会培养了一批支持者，包括谢尔戈·奥尔忠尼启则、克里门特·伏罗希洛夫、谢苗·布琼尼、谢尔盖·基洛夫和安德烈·安德列耶夫（AndreiΑndreev）。这些人都对他忠心耿耿，但并不奴颜婢膝，还称呼他“柯巴”。[16]他们中，有些人过去曾与他产生过龃龉，比如，1917年3月，莫洛托夫曾与他发生争执；1918—1919年间，卡冈诺维奇曾批评过中央委员会的组织政策；奥尔忠尼启则如果心里有事的话，从不保持缄默[17]；安德烈过去曾是工人反对派；布琼尼和伏罗希洛夫在察里津时就在他的手下工作；奥尔忠尼启则和基洛夫是他在高加索地区时的下属；安德烈在20世纪20年代早期的管理工作给他留下了深刻的印象。这个团体从从容容地联合在一起，但斯大林从不允许成员们把自己的职位视为理所当然的事，即使从在察里津就和他在一起的人也必须一直向他证明他们的价值。南方战线上的谢尔盖·米宁（SergeiMinin）和莫伊塞·鲁希莫维奇（MoiseiRukhimovich），开始看起来像硬化了的油漆那样毫无用处。米宁支持反对居于支配地位的党的领导人，斯大林没对他做什么，但他还是于1926年自杀了。当鲁希莫维奇在组织交通方面的无能暴露出来后，斯大林将他视为“一个自我满足的官僚”而予以开除。[18]