战争进行期间，虽说斯大林没有干涉他的亲属的生活，但他也没有多少时间享受家庭生活的欢乐。在那少有的休息时间里，他是和自己身边的政治家和军官一起度过的。这种场合主要是男人们的事情，喝酒是必不可少的。斯大林有计划地分配自己的娱乐时间，他多数时间都在指挥战争。
斯大林缓解压力的方法引人关注。整个20世纪30年代，他的身体一直不好。动脉硬化一直就没治好。好多医生给他治疗过血液循环疾病，但斯大林并不信任他们，他一度认为温泉浴是治病的最佳方式。1931年，刚在索契泡过39℃的温泉水后，他又患上了严重的咽喉感染。此后的五年，他一直受这种链球菌所致的感染的折磨。斯大林的私人医生弗拉基米尔·维诺格拉多夫（VladimirVinogradov）担心感染会恶化，向其他专家征求好的治疗方法。病重的斯大林甚至无法参加1937年的新年庆祝活动。1940年2月，他又发高烧，伴有咽喉感染。[23]然而，到1941年，他的呼吸功能有所好转。通常，斯大林要到黑海待上几个月，来缓解莫斯科高强度工作带来的压力。“巴巴罗萨”计划之后，这样的疗养已经不可能了。在战争期间，斯大林除了到雅尔塔和德黑兰参加联盟领导人会议或到前线视察外，他都待在莫斯科及周围地区。他不顾一切地拼命工作。
战争带来的压力确实不小。他的头发变成了灰白色。（朱可夫说已经变成白色了，这种说法并不可靠。）[24]因睡眠不足，他的眼袋很重。因吸烟过度，他的动脉硬化更严重了，但他不会听从医生的建议去改变自己的生活方式。斯大林离不开烟酒，给他治病的医生也没有想着能改变他的生活方式。他们不敢这样做，或者说他们也不认为斯大林的生活方式有什么不妥：当时的医生并不像现在的专家那样要求严格。但一个不争的事实是，斯大林的健康每况愈下。[25]
娜佳自杀后，斯大林过着一种非正常的生活，但他周围其他人的生活更奇怪。贝利亚是一个强奸少女的罪犯。克里姆林宫的其他人虽说不一定强迫女性，但都好色。1937年被处决的阿贝尔·叶努基泽因勾引漂亮女子上床而臭名远扬。加里宁特别喜欢芭蕾舞演员，布尔加宁喜欢歌剧女主角，赫鲁晓夫据说也特别喜欢追求女人。苏联政治精英的性史还包括某些人的乱交，有些人是双性恋。叶若夫就有双性恋倾向，一度和一对夫妻都有关系。这些人凭借自己的政治权力满足他们的需求。他们都很清楚，自己随时都可能会被逮捕。许多人靠酒精麻醉自己。日丹诺夫和赫鲁晓夫都嗜酒如命。他们的夜生活少不了伏特加和白兰地，叶若夫经常喝到凌晨。恐怖将这些人推向苏联权力的顶点，而这种压力让他们更古怪。
让人有点惊讶的是，这些人都想方设法像政治家那样发挥其作用。但这一点也不完全对。如果他们不是苏联的政治精英，他们也会滥交、酗酒，但毫无疑问，他们工作的压力和危险起了推波助澜的作用。
“巴巴罗萨”计划实施之前，斯大林相比其他人来说要好得多，但他也好色，酗酒。据传，斯大林疯狂追求娜佳的嫂子叶甫盖尼娅（Yevgenia）。娜佳自杀后，有一段时间叶甫盖尼娅就陪伴在斯大林身边。另一个据传与斯大林有染的人是玛利亚·斯瓦尼泽。[26]玛丽亚的丈夫亚历山大并不赞同这种说法，他认为这可能是一种阴谋诡计。玛利亚并不隐瞒事实，她说自己爱约瑟夫，也很迷恋他。[27]玛利亚长得很漂亮，而且还是一名歌手，[28]斯大林没有理由不注意她。关于叶甫盖尼娅的传言最多。1938年，叶甫盖尼娅的丈夫帕维尔·阿利卢耶夫去世后，她很快就同一位名叫尼古拉·莫洛奇尼科夫（NikolaiMolochnikov）的发明家结婚了。至于她和斯大林之间的关系还无法确定，但人们怀疑，叶甫盖尼娅同莫洛奇尼科夫结婚可能是为了躲开斯大林。叶甫盖尼娅的女儿季娜（Kira）曾隐晦地说：“叶甫盖尼娅结婚是为了保护自己。”[29]但她本人并没有明确表白说自己想躲开斯大林。大家都知道，斯大林后来给叶甫盖尼娅打过几次电话，“二战”期间，他要求她陪在斯维特兰娜和其他亲戚身边。叶甫盖尼娅以自己有家庭需要照料为由拒绝了斯大林的要求。[30]
有流言说斯大林在20世纪30年代后期还有情妇，也有人说他又秘密结婚了。据说和他结婚的人叫罗扎·卡冈诺维奇（RosaKaganovich）。纳粹德国媒体大肆渲染斯大林再次结婚的消息。据推测，罗扎是拉扎尔·卡冈诺维奇的漂亮妹妹。其实这是谎言。拉扎尔·卡冈诺维奇只有一个妹妹，名叫拉希尔（Rakhil），早在20世纪20年代中期就去世了。[31]还有人讲，和斯大林有暧昧关系的是拉扎尔·卡冈诺维奇的女儿玛娅（Maya），当然玛娅很漂亮。但这一说法仍缺乏可靠的证据。拉扎尔并不是一个正经人，如果她女儿和斯大林有关系的话，她不可能假装自己和斯大林没关系而靠救济金来维持生活。[32]