在巴统，朱加什维利也发挥了一定的作用。他走进工厂，与其他马克思主义者、管道工人和港口工人一道工作，鼓动工人们反对雇主，其中朱加什维利最喜欢去的地方是罗特希尔德（Rothschild）和曼塔舍夫（Mantashev）的企业。他还联系那些可能入党的人，并与身在几百英里外的巴库的克茨霍维利保持联系。约瑟夫所做的事情，都受其意识形态和方针策略的支配。当时，巴库爆发了罢工运动，朱加什维利及其所领导的马克思主义团体都被牵涉其中。1902年3月8日，巴库发生了游行示威运动。参加这场运动的工人们要求当局释放几天前被囚禁起来的罢工运动的领导人。朱加什维利也陷入了这场示威游行运动中。此次示威游行带来了毁灭性的后果，巴统市当局对600名愤怒的游行工人进行恐吓，甚至朝他们开枪射击，15名示威者被杀害。此后，沙俄秘密警察组织奥赫拉那（Okharana）进行了大规模地调查，几百人被逮捕。秘探还渗透到巴统的马克思主义组织中，因此，发现朱加什维利的行迹仅仅是时间问题。不过，这一天还是来得太快了。1902年4月5日，朱加什维利被捕，并被羁押在巴统监狱（BatumiPrison）。
作为见证者，一位名叫哈希姆·斯米尔巴（HashimSmyrba）的居民回忆了他的离开。哈希姆是个农奴，可能是阿布哈西亚人（Abkhazian）。他说，当时，朱加什维利和他一起暂时躲起来了。朱加什维利告诉他：“如果你接受穆斯林信仰的话，我就给你找七个美丽的女人，并允许你娶她们为妻。”[24]哈希姆为自己不是一个穆斯林信徒而深表遗憾，但也为此而喜欢与朱加什维利相处。哈希姆描述这件事情无非是要表明，朱加什维利平易近人，和蔼可亲。但斯米尔巴毕竟是一位年长的农奴，置身于革命运动之外，导致朱加什维利有如此表现。与上述情形恰恰相反，还有一个事实也相当重要，即朱加什维利离开巴统后的几十年间，没有工人出来为其作证。可见，他不爱交际，极为自负，不想依赖别人。某种程度，可以说他已经是孤家寡人了。
无论如何，朱加什维利失去了巴统和第比利斯的伙伴们的支持，只有与身在巴库的朋友克茨霍维利保持密切联系。他的文章《俄国社会民主工党及其当前的任务》涉及当时的很多政治和组织问题，是《斗争报》第二期的主要篇目。[25]但是，克茨霍维利对此似乎并不在意。而且，他还提醒主编，朱加什维利相对而言更擅长组织工作，而不是写作或编辑工作。不过，他们两人斗志昂扬，相得益彰，使《斗争报》在南高加索地区的地下马克思主义组织中的发行也大获成功。根据斯大林自己的记载，他当时曾被作家的生活深深吸引，认真地考虑过放弃秘密政治活动而投身到大学里去。当然，他在大学里不是做学生，而是做教授。[26]可是朱加什维利从来没有解释过哪个大学会聘用他。朱加什维利早期的几篇文章内容“平和”，小心翼翼地避免使用直接号召革命的词句。到了晚年，他仍然保留了这种特点。因此，即使是在《斗争报》上发表文章，他也不必担心新闻检察官的审查。
据说，克茨霍维利曾因为朱加什维利太温和而责备过他，朱加什维利宣称，1902年3月巴统的工人被枪杀后，他就认为自己应当保持慎重的态度和克制的语气。“改变语气”后，所有东西都变了。他没有再将格鲁吉亚的反马克思主义者和沙皇俄国混为一谈，阻止他们对马克思主义的破坏。[27]克茨霍维利和朱加什维利逐渐认识到，无论是对他们自己而言，还是对格鲁吉亚而言，他们二人的基本倾向都没有任何独到之处。1900年12月，在列宁的倡议下，俄国的一些流亡马克思主义者在慕尼黑创办了《火星报》。该报的支持者们认为，秘密政治活动将对未来产生关键性影响。《火星报》在南高加索地区的联络人是列夫·加尔佩林（LevGalperin）。这个人为《火星报》做事，也为《斗争报》做事。早在1901—1902年间，很多关于马克思主义的资料就开始从德国经过他的手传到巴统。[28]《火星报》为控制俄国社会民主工党而活动，其思想远较克茨霍利的思想先进。比如，列宁及其战友坚持不向中产阶级妥协，强烈要求组成战无不胜、紧密团结的马克思主义团体，主张权力集中、纪律严明、思想正统。然而，在朱加什维利被捕之前，《斗争报》就已遭到了奥赫拉那的破坏。1902年3月14日，整个编辑小组及支持者，除了亚伯·埃努基泽（AbelEnukidze）和博格丹·克努尼扬茨（BogdanKnunyants）外，都在巴库被拘捕了。[29]