贝萨·朱加什维利逐渐从可可和约瑟夫的生活中消失了。就算他曾经回过哥里，人们也不知道他回来过几次，但可以肯定的是，他从没有再在那里长时间地生活过。他频繁地变换工作，依然嗜酒如命。曾有传言说，约瑟夫杀害了贝萨。但是，我们找不到一点证据来证明这一点，事实可能更加平淡无奇。贝萨在工厂工作，在酒馆喝酒，最后使自己的生活完全失控，搞得一团糟，但他要独立地来面对这些。据记载，他在世纪交替之前去世。但也有人认为他可能于1909年在孤独和贫困中死于肝硬化。[6]
贝萨不在的时候，约瑟夫专门回去照顾他的母亲。他究竟是怎样处理父母破碎的婚姻的，他的父亲又是如何离开的，现在还不清楚，但并非一点线索也没有。约瑟夫在1895年至1896年间发表诗歌时，“贝萨什维利”（Besoshvili）是其笔名之一。这显然不是一个巧合。在斯大林早期的文章中没有一篇提及资本主义经济是如何将独立的工匠置于巨大的商业压力之下，并迫使他们放弃自己的作坊，成为工厂的雇佣工人。约瑟夫和他父亲的野心完全不同。没有人喜欢挨打，约瑟夫也不例外。当父亲贝萨的坏脾气发作时，他也会反抗。约瑟夫是一个深沉又极为敏感的孩子，当他以一个马克思主义者的身份来思考时，他发现贝萨竟是历史的牺牲品。[7]如果约瑟夫的脑子里没有保留对父亲的喜爱和理解，这些当然是不会发生的。这看起来有些荒谬。斯大林是贝萨的牺牲品，但他打心眼里仍喜欢那个虐待他的人。这是一种异常的反应，可能是因为贝萨已经在他的生活中被淡忘了，反而使他关于父亲的记忆有所净化。
从哥里回来后，约瑟夫重新开始了他在教堂、学校和街上的生活。有一天，约瑟夫站在教堂外面时，被一架马车给撞倒了。这架露天的马车，有两三个座位、原始的悬挂铁环和简单的几个轴，是最便宜的四轮马车。马车狂奔着冲向教堂墙外的人群，幼小的约瑟夫·朱加什维利及时地闪开了，一场致命的事故才没有发生。[8]
即使如此，约瑟夫的左胳膊和双腿还是受伤严重，但他很快康复了[9]，并回到学校继续读书。可是，此次事故却给他的身体留下了永久的伤痛，其左臂有些肌肉萎缩，且缺乏灵活性。为此，他还在1916—1917年间免除了服兵役。一匹难驾驭的野马，撞上了这位哥里的少年，阴差阳错，却将他从第一次世界大战被杀死的潜在危险中解救了出来。这场事故使他变得有些难看，并明显使他对自己的外表感到尴尬。同时，还给他增加了另外一种心理压力：减弱了他在与男孩子们进行力量比赛时的勇气，但他决心要证明自己。同学约瑟夫·伊里麦什维利（JosephIremashvili）回忆了小朱加什维利是如何使用肮脏的方法赢得拳击比赛的。[10]除了领先的地位之外，没有什么使约瑟夫感到满足。他不能忍受朋友大卫·马恰瓦里亚尼（DavidMachavariani）领导街上的小团伙，为此，他有时离开这个团伙，加入到另一个团伙中，而不是接受马恰瓦里亚尼的命令。正是这种行为，给他落下了“坏蛋”的名声。
当这种坏名声使他没有帮派可以加入的时候，约瑟夫才接受了大卫·马恰瓦里亚尼的领导。像其他人一样，为了加入这个团伙，他也必须通过入会考察。准会员们为了证明自己的勇气，要进行长跑、偷东西，并忍受皮条抽打。在这个团伙中，还有彼得·卡帕纳泽（PeterKapanadze）、约瑟夫·达维利什维。[11]年轻的朱加什维利从没有忘记过那些日子，直到老了之后，他还与彼得保持联系。在这些朋友的记忆中，约瑟夫相当笨拙，从来没有学会格鲁吉亚的传统舞蹈，也不会跳列金卡舞。在哥里，男孩子们有列金卡舞的比赛，如果其他人跳得比他好的话，约瑟夫会离开对手并排挤他。
约瑟夫的母亲开始在达维利什维家做裁缝，因此，他常见到约瑟夫·达维利什维。有时，他们爬到小城的要塞上，观察住在墙里的小鸟，但他们之间常发生矛盾。约瑟夫·朱加什维利喜欢去偷朋友的食物，当被发现出现争执后，达维利什维的父亲就会出来，给他们另一盘食物。朱加什维利告诉朋友，他们本应当有两份数量相同的食物，这是在为他的不检点行为开脱[12]。约瑟夫热衷于证明自己有多么坚韧，为此，他常去挑战那些更强壮的男孩子。有一次，他与另外一派的一个小伙子打架，被毒打了一顿。母亲把他带回家，并向警察局长达维利什维抱怨不已，但局长回答道：“当一个陶壶和一个铁壶碰撞时，是这个陶壶被碰碎，而不是铁壶。”[13]