在家里，娜佳是一位严厉的母亲，不像对约瑟夫那样，很少向孩子们公开示爱，并要求他们按照严格的行为标准行事。在回莫斯科前几乎不知道自己的父亲是谁的雅科夫，对她的要求置若罔闻。约瑟夫工作很忙，总是不在家待着，因此，和雅科夫之间的关系从未得到巩固。即使待在家里，他对儿子的兴趣容易给孩子造成一种压力。约瑟夫希望雅科夫能够专心阅读。有一次，他在B·安德列耶夫（B.Andreev）的《征服自然》的封面上写道：“雅萨（Yasha），务必要读这本书！”[26]但是，每天都要与雅科夫打交道的是娜佳，而她发现雅科夫简直是气死人。娜佳在1922年10月给婆婆的信中曾指出这点：
让我深深地吻您，并代索索向您问好！他现在身体很好，工作很努力，感觉棒极了，只是一直在惦念您。
雅萨每天学习，玩耍，抽烟，但他不听我的话。瓦森卡（Vasenka）也很贪玩，对大人很无礼，也不听我的话，但他还没有开始抽烟。约瑟夫总是吞云吐雾，因此，瓦森卡肯定很快就会学会。[27]
然而，生活还是有让人感到愉悦的地方的。苏波战争之后，斯大林居住在两个地方，一个是他们在克里姆林宫的官邸，另一个位于莫斯科郊外的乌索沃（Usovo），靠近一家破旧的伐木场，他们将这套房子称为祖巴洛沃（Zubalovo）别墅。这里，有一个离奇的巧合：该别墅的主人属于祖巴利什维利家族，而正是这个家族，建设了后来成为第比利斯正教中学的宿舍。斯大林及其邻居米高扬（Mikoyan）可能会觉得非常开心，因为他们所住的房屋，是由来自南高加索的工业家建设的，他们曾经为了反对他而大力领导罢工运动。[28]
1919年，该区域的数栋别墅都收归国有，斯大林所居住的是祖巴洛沃四舍。从未拥有过属于自己的房屋的斯大林[29]，清除了房前屋后的大树和灌木丛，按照自己喜欢的方式改造一小块土地。每逢夏天来临，孩子们可以在附近的莫斯科河（RiverMoskva）里游泳嬉戏。这真是一个美丽的地方，美得只有在安东·契诃夫（AntonChekhov）的戏剧中才可能出现。但契诃夫的戏剧中描写的是年迈的乡村士绅如何被暴发户排挤的故事，而现实中，则是暴发户们遭革命者们驱逐的故事。斯大林对祖巴利什维利一家被迫搬离这套别墅而沾沾自喜，而自己也过起了类似于资本家的那种生活方式。每当条件允许的时候，一家人就来到祖巴洛沃。他们或采集蜂蜜，或者采摘蘑菇和野草莓。约瑟夫则四处打野鸡和兔子，并带回来供家人一起分享。他们一家随时欢迎来客。布吕尼和伏罗希洛经常来做客，并与约瑟夫端起美酒，放声高歌。奥尔忠尼启则和布哈林也常是座上客，举止温和的布哈林是娜佳和孩子们最喜爱的客人，他来这里时，总随身带着一只驯养的灰狐，还经常给孩子们画画。[30]
夏天一到，斯大林一家就会去南方度假，经常去的地方是黑海岸边的一套国家别墅。格鲁吉亚和阿布哈兹的政客们排着队上门来讨好他，莫斯科的密友们要是住在临近的别墅里，也会来造访。斯大林会安排到附近的山上或海边野餐。虽然斯大林不会游泳，但他喜爱新鲜的空气，也喜爱柔软的海滩。
斯大林也会利用休假来调整身体状态。他的身体状况让他不胜其烦，从1917年开始，他就采取各种各样的传统方法来治病。风湿病和恼人的咳嗽经常伴随着他。他的咳嗽，或许是由于吸烟引起的。[31]他曾经在北高加索地区的纳尔奇克（Nalchik）居住了一段时间，因为这个地方有利于肺痨患者的康复。[32]但斯大林的病与众不同，他的风湿病每到春天会影响到手臂。于是，米高扬建议他到黑海岸边索契（Sochi）附近的马采斯塔（Matsesta）进行热水浴。[33]斯大林听从了米高扬的建议，他发现这里的水“比叶先图基（Essentuki）的泥要管用得多”[34]。叶先图基是位于北高加索地区的矿泉治疗地，以其土壤有益于身体健康而闻名。无论如何，斯大林通常都喜欢去索契度暑假。[35]从1926年开始，伊凡·瓦列金斯基（IvanValedinski）医生负责为斯大林诊治。斯大林去南方过暑假时，会随身带着瓦列金斯基的说明。瓦列金斯基告诉他，从马采斯塔回家前，要洗够12次热水浴。斯大林还请求瓦列金斯基允许他每个周末喝上一两杯白兰地。但瓦列金斯基坚定地告诉他，只能在周六喝一杯，周日绝对不能喝酒。[36]
这位医生或许忘记了，对于一个无神论者而言，周口并没有那么神圣。但不管怎样，斯大林从来不是一个值得信任的病人。他有自己的一盒药，只要他认为合适，就会吃上一些，也不管医生的建议。[37]现在，值得怀疑的是他是否听从瓦列金斯基的建议。但毫无疑问的是，他的身体比早先好了许多。热水浴缓解了关节的疼痛，瓦列金斯基开的阿司匹林减少了颈部的疼痛，而1927年的一次心脏检查使他确定自己的身体总体来说是健康的。[38]