对于娜佳的自杀，斯大林始终无法释怀。他说：
没有妈妈，孩子们虽然也可以长大，但对他们而言，再理想的保姆和女家庭教师都不能取代他们的母亲。啊！娜佳，娜佳，你看看你做了什么，我和孩子们是多么需要你啊！[29]
斯大林将自己的思想固着在娜佳之死给孩子们带来的伤害上，尤其是带给他自己的伤害。他常常陷入反省中，却不向任何人吐露。他告诉孩子们，他们的母亲是自然死亡的。虽然他看起来坚如磐石、冷若冰霜，但内心却非常敏感。
几个星期以来，同事们都担心斯大林也会一死了之。几周后，他才开始振作起来。他向政治局的同伴们求助，基洛夫就是其中一个。他是一个特殊的密友，每每从列宁格勒来到莫斯科，他都会去看望奥尔忠尼启则，但斯大林经常把他叫到自己家里来陪伴他。一来二去，基洛夫就会在他家住上一夜。[30]米高扬也经常来造访，但让他感到尴尬的是，妻子阿什肯（Ashken）总是不能轻易相信他真地待在斯大林这里。之后斯大林便向亚历山大·斯瓦尼泽求助。[31]这样，苏联的统治者成了一个需要熟人陪伴的孤独的鳏夫。据拉扎尔·卡冈诺维奇回忆，娜佳死后，斯大林好像换了一个人。通常情况下，他离群索居，对人的态度异常冷酷。[32]他成天吃吃喝喝，有时在办公室里一待就是一整天，在桌旁一坐就是三四个小时。[33]
但是，斯大林还是没有向家人和亡妻的朋友们发泄自己的情绪。阿利卢耶夫夫妇尽力与他保持联系。娜佳去世两个月后，她的父亲谢尔盖写信问斯大林是否还会去祖巴洛沃别墅住，还说他自己身体很糟糕，希望去乡村慢慢康复。[34]这个请求是要将斯大林从自我专注中拉出来，实际上，却使斯大林怒不可遏。他说：“谢尔盖，你真是个古怪的人！你完全有权不经‘允许’来‘祖巴洛沃’住，你还需要什么样的‘许可’呢？”[35]他欢迎阿利卢耶夫家的其他成员到家里来，比如娜佳的嫂子叶甫根尼娅。
但是，祖巴洛沃别墅总会让他想起这么多年的婚姻生活，搬到莫斯科郊外的另外一栋别墅看起来是个明智的选择。当时，斯大林发现了一位设计理念合其意的建筑师，即米龙·梅尔让诺夫（MironMerzhanov）。这位建筑师所设计的乡村别墅有着厚厚的、幽暗的墙壁，看起来就像坚不可摧的堡垒。由于没有娜佳的劝阻，斯大林让整栋房子更好地发挥了办公场所的作用，而不是家的作用。在莫斯科西郊的孔策沃（Kuntsevo）附近，斯大林发现了一个世外桃源般的地方。这个地方离克里姆林宫只有七英里，坐车几分钟便可到达。于是，斯大林按照他的想法又建了一栋别墅，并于1934年竣工。这栋别墅有一个开会用的大厅，几间卧室，还有饮下午茶、打台球、放映电影的房间。此后，斯大林便在那里久住，不再回克里姆林宫的公寓，它就是著名的“布立士尼”别墅。此外，斯大林还在稍远的地方建了一套别墅，即“达尔尼”别墅。
娜佳去世后，斯大林总是焦躁不安。虽然他选择不与家人住在一起，但自己一个人住又感到不舒服。因此，他热切地期待到南方度假。
1932年后，斯大林几乎所有的假期都是在阿巴希泽度过的。虽然他一个人孤零零地住在当地别墅里，但日子也过得有滋有味。每天，美酒缓缓入喉，桌上堆满了各种食物，并有酒肉朋友内斯特·拉科巴相伴。在20年代的党派之争中，拉科巴一直使格鲁吉亚共产党避开反对派的影响。他还参加了内战，是一位手持狩猎步枪的神枪手。让斯大林感到有趣的是，在去山上打猎时，拉科巴的枪法让红军统帅们都感到无地自容。[36]拉科巴和斯大林一样，都有一个苦涩的童年，而且，拉科巴还是个孤儿。此外，他们都曾在梯弗里斯正教中学读书。[37]拉科巴是一个直率的高加索人，将自己的空闲时间留下来陪斯大林体验高加索地区的乐趣，比如，这里的美景、美酒、美食佳肴和野生生物。即使斯大林住在索契，拉科巴也会来访。1936年，拉柯巴陷入与外高加索联邦高层党的领导人的政治冲突中，并因此而被剥夺了离开苏呼米的权利。对此，斯大林勃然大怒。不管当地的政治阴谋是什么，他不能没有内斯特·拉科巴的陪伴。[38]
娜佳逝世后的第一个假期，让斯大林难以忘怀。1933年9月23日，斯大林和保镖坐船离开了苏呼米。突然，他们遭到了来自岸边的步枪扫射。警卫长尼古拉·弗拉西克（NikolaiVlasik）为了保护他，迅速地伏在他身上，并请求允许开枪还击。同时，船夫驾船离开了海岸。他们立马想当然地认为，这是一次暗杀。然而，事实到头来稀松平常。阿巴希泽的内务人民委员会一直怀疑这艘船不是来自当地，并断定这是外国人图谋不轨。水上警察爽快地承认了错误，并向他求饶。斯大林建议，他们只需遭到纪律处分（在后来的肃反运动中，这个案件被发掘出来，他们或者被枪毙，或者被投入劳动营）。[39]