朱加什维利被当时布尔什维克党的气氛所鼓舞，想要成为一个政治家。1904年他在处理与格鲁吉亚布尔什维克党人之间的关系中的表现，表明他并不缺乏战略的灵活性（在未来几年中，他继续建议政策上要进行让步）。但是，1905年，他完全接受了武装暴动和革命专政的观念，全然相信君主专制制度能够被取代，故断然拒绝接受尼古拉二世制定的新政治制度。同时，越来越多的布尔什维克党也已经认识到，他们不听从列宁的建议是错误的。在一次党的会议上，列宁不能忍受如此多的布尔什维克党党员声称是“列宁主义者”，遂决定重新与孟什维克合作，以此进一步给布尔什维克党施加压力。从本质上说，这个行动之所以可能发生，是因为布尔什维克党和孟什维克虽然在境外独立存在，但在俄国境内经常合作。
俄国社会民主工党第四次（统一）代表大会选择在斯德哥尔摩召开，朱加什维利是16位格鲁吉亚代表中唯一一位布尔什维克党党员。16位代表秘密取道莫斯科、圣彼得堡，到达赫尔辛基。此后，他们假扮成做短途旅行的教师，乘汽船前往芬兰的土尔库港。在这里，他们16人分成几个小组[8]，朱加什维利乘坐维拉莫（Wellamo）号客船，到达瑞典首都斯德哥尔摩。他和布尔什维克党党员克利门特·伏罗希洛夫（KlimentVoroshilov）一起，住在布里斯托尔酒店（HotelBristol）。很多没有明显的商业或职业特点的新鲜面孔吸引了警察的注意力。很快，布尔什维克党的计划被识破，朱加什维利被捕了。在警察局，他遭到了警监莫格伦（Mogren）和警官阿列克谢（Alexei）的讯问。朱加什维利谎称自己叫伊凡·伊万诺维奇·维萨里奥诺维奇（IvanIvanovichVissarionovich），是个政治难民、民主党人。他向警察保证，自己没有受到芬兰人的资助（在那些年里，这是瑞典安全机构的烦恼），在回家之前先去柏林。他还承诺，在斯德哥尔摩居住期间，会定期向警察局报告。就这样，朱加什维利和其他人一样，有惊无险地被当作没有恶意的旅行者释放了。[9]
被释放的朱加什维利和其他布尔什维克党代表一起，度过了一段快乐的时光。这段时光是他有生以来第一次在国外生活，花费由布尔什维克党来负担。布尔什维克党与瑞典社会民主党保持着友好的关系，在他们的帮助下，大会期间可以使用“人民之家”。革命者们虽然没打算对奥赫拉那保密，但多多少少还是采取了些预防措施。不过，奥赫拉那有很多告密者，很快就收到了俄国社会民主工党最高层会议的报告。在大会上，每个党派对其内部事务进行了讨论，党派之间也进行了协商。会议期间代表们一直待在宾馆和“人民之家”，没有时间去其他地方参观。朱加什维利亲眼见证了这些杰出人物齐聚于一堂，解决布尔什维克与孟什维克之间的问题，制定一系列政策，而自己也能参与其中，这当然是一件幸事。
虽然倡导两个党派重新统一，但列宁并没有从政治上向孟什维克投降。他保留着一个从其他党组织中（包括孟什维克党）分离出来的独立的布尔什维克党中央，并继续支持为政治目的筹集资金的武装抢劫。但是，这两点都是为俄国社会民主工党第四次代表大会所禁止的。列宁及其伙伴一切从完成政治任务——推翻罗曼诺夫王朝出发，对禁令置之不理。作为格鲁吉亚布尔什维克党活动的主要组织者，朱加什维利是这一行动不可或缺的人物。
正是在俄国社会民主工党第四次代表大会上，朱加什维利使用化名“伊万诺维奇”提出了自己对革命的见解，请党的领导人认真考虑。他还被选入核对代表提议的委员会，对格鲁吉亚孟什维克有关该国局势报告的可信性提出了质疑。朱加什维利的质疑引发了一场争论，他自己的发言也反过来被孟什维克党质疑。为了给自己辩护，朱加什维利怒吼道：“我将在我方便的时候回答你！”[10]他宣称：“人们都知道，俄国社会政治生活的发展出现了两条道路，一条是半改革的道路，一条是革命的道路。”在朱加什维利看来，孟什维克党愚蠢地接受了与马克思主义方针策略相去甚远的思想。他说：
相反，如果无产阶级争取本阶级的阶级利益会为其带来领导权，如果无产阶级必须走在当前革命的前列，那么，它就必须积极参加武装暴动组织，并掌握政权，这是不言而喻的，也是无人可以阻止的。这就是你们所谓的布尔什维克党的“阴谋诡计”。[11]