尽管他已结婚，可戈培尔的心依旧很野，他从来没有忘记过安卡，他的初恋情人。他的日记里到处流露他对这个金发美人的不绝赞叹和她抛弃他以后的悲哀后来他当了宣传部长以后，曾以一种典型的虚荣和讥嘲口气告诉他的朋友，她为什么抛弃了他。“她抛弃了我，因为另外那个家伙比我有钱，能够请她吃饭看戏。她多么愚蠢！……要不然，她今天就是宣传部长夫人了！她一定感到很后悔！”安克嫁了“另外那个家伙”，后来又离了婚，1934年来到柏林，戈培尔给她在一家杂志社搞到了一个职业。
戈培尔自己对女人的需求很强烈。他寻求社会的和性爱上的承认以缓和自己由于多灾多难的身体状况而从小就存在于心灵之中的自卑情绪。在他的内心深处隐藏着一个强有力的愿望——得到溺爱，有如将自己的小手贪婪地伸向糖块而不受限制。然而以为他利用自己的权势地位迫使女演员们上他的床就大错特错了戈培尔不需要这样做，他知道怎样和女人打交道。
尽管冷酷无情的命运之神给了戈培尔矮小、黑发、面目丑陋，外加一条使他不能服兵役的瘸腿；但作为文化独裁者的戈培尔，却拥有一件绝妙无比的武器——他那洪亮、甜美、极富魅力的声音。当他在演讲台上历述犹太人和其他人敌人的罪恶之时，他就成了激昂的德摩斯梯尼（古希腊演说家）。他可以把对希特勒光辉形象的颂扬提高抒情的高度。他的讲演水平可以同希特勒本人媲美，在某些方面甚至更为出色这使外表上并不招人喜欢的戈培尔变成了纳粹德国一匹引人注目的超级种马，在那具不起眼的身躯里，却隐藏着巨大的能量
在他和玛格达过日子的时候，毫无疑问他和他的美丽而优雅的妻子是十分相爱的。无论是他还是她都毫不掩饰这一点。在柏林社交界，尤其是戏剧和电影圈中，人们往往对年轻的部长和他的妻子在所有的公开场合都以“甜心儿”和“小天使”一类的昵称相称而发出会心的微笑
戈培尔坚持让他的妻子奉行《圣经》中的话“要多生多育，增加你们自己”，这不仅满足了他男性的骄傲，而且履行了他的爱国义务。1932年2月9日，女儿黑尔加出世；1934年4月13日是希尔德，1935年10月21日是赫尔穆特，1937年2月9日是霍尔德；1938年5月5日是黑达，194。年10月是海德。这些名字的开头字母都用“H”是玛格达的主意，如给她在和科旺特的婚姻中生的儿子起名一样。只要时间允许，他是一个好父亲，为他漂亮的孩子很感骄傲。他很注意一天中至少要在孩子们的房间中耗上几分钟。
在玛格达接连不断怀孕的时候她还有一到两次流产的经历—一戈培尔遇到了大量的来自电影界或戏剧界的美女。玛格达对待她丈夫基本上于她无害的“婚外关系”问题上，并不小气，并且允许他拥有一些他反正是能得到的自由。这位部长在施旺恩维尔德和朗科都有布置得十分舒适的“帐篷”，在这里面他尽可以安全地远离大屋进行秘密幽会。他的越轨行为可以轻易地不露风声。在经常更替的来访者中有女演员、女秘书、社交界的夫人小姐们，她们给富有魅力的部长带来了他所需要的东西—她们对他的无限钦佩和敬仰。
戈培尔在柏林的名声不佳，被人看成是个高贵而又不谨慎的情夫。
1936年，戈培尔认识了当时在德国拍片的捷克女演员丽达·巴洛娃，这个年轻的电影明星虽然没有经典的美，显得小巧而单薄；但她的眼睛富有魅力，个性热情奔放。她那时刚刚20岁，但已经取得了一些成功。尤其是，她是当时的名演员古斯塔夫·弗约里希的合作伙伴，而她在私生活中也和他的关系十分密切。弗约里希在施旺恩维尔德有一处漂亮的田产，和戈培尔的夏季别墅离得很近。
在施旺思维尔德这两对儿碰到了一起。此外，戈培尔当然还在许多电影执行会和首映式上见过巴洛娃玛格达在施旺恩维尔德邀请弗约里希和他的女友到家里喝茶。此后，他们之间的社交往来就日渐增多人们那时都认为巴洛娃和弗约里希已经结婚了或者是很快就要结婚了，而实际上她和这位名演员之间的关系已经越来越冷淡了，而戈培尔的魅力在这时正开始给这位女演员留下越来越深刻的印象，虽然她差不多只有他的一半儿大。
除一般政治性的庆祝活动之外，纽伦堡党代会期间还要举行无数的社交性招待会，巴洛娃和许多其他的艺术家们被邀请参加了1936年举行的党代会。在纽伦堡，巴洛娃第一次遇到了希特勒，而且是在戈培尔在场的情况下。