战前，斯大林很宠爱自己的女儿斯维特兰娜。娜佳死后，她对孩子的严格要求有所放松，[6]斯维特兰娜一直由充当管家和家庭教师角色的卡杰琳娜·提尔（KaterinaTil）照管，一名护士则负责给她梳头。斯大林的警卫长尼古拉·弗拉西克（NikolaiVlasik）[7]每天都要审核斯维特兰娜的行动安排。斯大林工作太忙，也没有多少时间陪自己的女儿。但他一直认为，不能忽略女人的感情。[8]对斯大林来说，和自己的女儿待在一起就是享受家庭生活的快乐。当然他也想带给儿女们快乐。雅科夫和瓦西里都没能满足他的要求：他们两个在学校学习时不积极上进，生活有时也很懒散，但斯维特兰娜很符合斯大林的要求。他在给女儿写信时，经常这样写，她的“首席秘书斯大林同志。”他女儿回信时这样命令他，“我命令你允许我同你一起去剧院或去看电影。”对此他回信说，“好，我听你的。”[9]正如雅科夫的舅妈玛利亚·斯瓦尼泽1934年在日记中所写的，斯维特兰娜很崇拜自己的父亲：“她同自己的父亲关系一直不错。斯大林拥抱、亲吻他的女儿，很器重她，还用自己的汤勺给女儿喂饭，甚至很乐意为她挑选最珍贵的礼物。”[10]
“巴巴罗萨”计划之后，父女间的关系开始恶化。进入青春期后，斯维特兰娜与她父亲不时发生矛盾。有一次她给斯大林看了一张父亲认为着装不雅的照片后（斯大林在着装上要求很严格），斯大林将照片夺过来撕碎了。[11]斯大林不喜欢自己的女儿涂口红。斯维特兰娜经常去贝利亚在郊外的别墅，当她向父亲请求在那里过夜时，斯大林命令她立即回家，并说：“我根本就不相信贝利亚！”[12]斯大林对拉夫连季·贝利亚的好色很警觉。虽说她要拜访的是贝利亚的儿子谢尔戈，但斯大林并不想让一名安全部官员，也就是斯维特兰娜熟知的叔叔克里莫夫（Klimov）扮演她女儿监护人的角色。
自从听说了家里发生的许多事情之后，斯维特兰娜对她父亲更加不满。斯维特兰娜16岁时，她姨妈安娜给她讲，她的母亲娜佳并非自然死亡，而是自杀身亡。斯维特兰娜听到这一切后震惊了，而斯大林一直在回避这一话题。[13]有许多事情安娜都没给自己的外甥女说：她实质上已经在冒着失去斯大林信任的极大风险。斯维特兰娜想从父亲那里了解更多的家庭内幕。按照斯维特兰娜信任的谢尔戈·贝利亚的说法，斯大林的回答令她女儿很伤心。斯大林对斯维特兰娜坚持要看娜佳的照片很生气。有一次，斯维特兰娜问斯大林她妈妈漂亮吗？斯大林的回答很有深意：“是很漂亮，但她的牙齿像马的牙齿一样。”他补充说，有一个叫阿利卢耶夫的女子一直想和他在一起。这很可能是真的，但斯维特兰娜对此很伤心。说完斯大林解释说：“至少你妈妈年轻，她真的爱我。那就是我为什么和她结婚的原因。”[14]
斯大林长子雅科夫。第二次世界大战期间，雅科夫成为苏联红军第14坦克师第14炮兵团某营营长。1941年初，苏联红军在斯摩棱斯克战役中失利。同年7月，雅科夫被纳粹军队俘虏，被关押在德国萨克森豪森集中营。德国曾提议由雅科夫交换被俘的德国陆军元帅保罗斯，但被斯大林拒绝：“我不能用元帅交换一个士兵。”1943年4月，雅科夫死在战俘营。
斯大林小儿子瓦西里。1938年从军事航空学校毕业后，瓦西里进入空军。22岁时，瓦西里成为飞行员管理部门的指挥官。1948年，27岁的瓦西里晋升为莫斯科军区空军司令员。一年后，由父亲斯大林亲自签署命令，授予他中将军衔。但是他的辉煌随着一次飞行检阅失误结束，从此开始了他的悲剧人生。
斯大林与女儿在一起，再威严的父亲在女儿的面前也会偶尔展露温情的一面。1967年，苏联前铁腕领导人斯大林唯一的女儿斯维特兰娜通过美国驻印度大使馆“叛逃”美国，一时轰动世界。她的“叛逃”给世人留下无尽的谜团。
大约在这个时候，斯维特兰娜认识了电影剧作家阿列克谢·卡普列尔（AlexeiKapler）。可以想象，这又是一个不合斯大林胃口的男朋友。卡普列尔是一个绯闻缠身的好色之徒。他比斯维特兰娜大好几十岁。他还是一名犹太人——“二战”爆发以前，斯大林一直想把卡普列尔及他的家庭俄国化。卡普列尔也有点轻浮、自大。他弄到了一些西方的电影，比如《女王克里斯提那》，迪斯尼的《白雪公主和七个小矮人》，还把这些电影放给斯维特兰娜看。他还散布苏联巧时未出版的海明威的作品，给这个爱好文学的小姑娘阅读“二战”前苏联官方并不欢迎的安娜·阿赫玛托娃的诗作抄本。