1895年3月，弟弟阿尔贝特在罗森海姆出生。阿尔贝特一直是个败家子。他成了一位热力学工程师，在纳粹掌权时与赫尔曼的关系不好，不得不移居奥地利，在那里申请了公民资格，希望这样能给他和专横跋扈的哥哥之间建立一道安全疆界。
1896年，赫尔曼的父亲辞去政府职务，全家移居柏林。他当时才3岁，只依稀记得在柏林市郊弗里德瑙的愉快生活。姐姐们娇惯他，父亲把他当成了掌上明珠，非常溺爱他；赫尔曼对这位老绅士与其说爱，不如说尊敬一一他们之间有60年的距离，父亲的年龄足以当同伴们祖父。
随着年龄的增加，赫尔曼注意到了其他事情。在非洲，老戈林和肥胖、黑发的医生赫尔曼·冯·埃普施泰因交了朋友，范妮第一次分娩时是他接生的。他很可能是按这个奥地利犹太人的名字取名赫尔曼的，并作了戈林全部子女的教父，可能还给年幼的赫尔曼的个性留下了并不都是好的印象一一比如，奉行拜金主义轻视道德。
但是给戈林的童年留下最深印象的还是埃普施泰因在纽伦堡附近乡村弗兰科尼亚的一个城堡—一费尔登施泰因城堡。该城堡是戈林童年浪漫的乐土。毫无疑问，埃普施泰因把它提供给戈林一家使用是出于对年事已高的前殖民总督戈林博士的感激之情，老戈林年轻的妻子做了这位军医的情妇这件事已经不是什么秘密。
这种奇怪的三角关系持续了15年之久。
戈林逐渐长大成人，他意识到他的教父埃普施泰因把城堡靠近范妮·戈林卧室的24间最好房屋留作自用不是没有偷情方面原因的。母亲的卧室舒适、专用，从不允许父亲涉足，父亲只能住在底层很寒酸的房子里。
5岁时，父亲送给他一套轻骑兵服装。每当父亲的军界朋友们到城堡做客，赫尔曼晚上就要在卧室玩他们的帽子和剑。他总想像自己手持剑盾，骑马比武，参军征战，凯旋而归一一最后总是凯旋而归。
他是个健壮的孩子，只患过扁桃体炎和猩红热。青年时期得了关节炎，但1923年腹股沟受伤后消失，再也没有犯过。他的教育以父母家庭教育开始，1898年在菲尔特继续接受教育，离开菲尔特之后，请了一位女家庭教师教他读书。1905年他打点行装，到安斯巴赫的寄宿学校读书，在那里忍受了3年枯燥乏味的校园生活，然后又逃学回到费尔登施泰因。学校给他留下的唯一持久的遗产是持久的对知识的厌恶，正是由于这一点他才说出了这样尖刻的俏皮话：“一听到文化这个字眼，我就伸手摸我的白朗宁
枪）。
长大后，父亲把他送到卡尔斯鲁厄的一所德国士官学校时，他开始变了。他像一颗凋零的植物移到窗前那样焕发了生机。他穿着笔挺的制服。当他去看望在附近进修学校读书的姐姐格拉夫和保拉时，他脚跟一靠，向女校长献上了鲜花，他邀请姑娘们到附近一家糕点商店，但发现自己身上没有钱。
1910年赫尔曼·戈林来到柏林郊外的大利希特菲尔德军事学院进修，这是德国的西点军校。他尽情享受普鲁士军官的新生活，想像着自己雄赳赳的胸脯上挂满军功章，便甘心情愿地穿训练紧身服，这是他为得到他所贪欲的东西一一操纵别人命运的权力而付出的代价。
1911年3月，他顺利地通过了最后阶段的考察。虽然和教理论课的文职教官关系不好，但他和军事教官非常融洽，得了232分（他后来这样说），高出必修分数100分，是学校历史上的最高成绩。1911年3月13日，学校44岁的队长给赫尔曼自豪的父亲签署了这样的成绩报告单：
谨奉告阁下，祝贺令郎赫尔曼最近以优异成绩通过了少尉考试。
里查德·冯·凯泽男爵
考试完之后，戈林和伙伴们一起到意大利观光旅游。他在灰色的四开笔记本里认真做了日记，并附以艺术和建筑明信片进行说明。他们几人4月1日抵达米兰。赫尔曼对教堂牧师索要小费感到好笑，他找到了达·芬奇的《最后的晚夕》（“它修复得不错”，18岁的戈林记载道，“但它已失去了原有的风采”）。他还对米兰的要塞特点作了评论。第二天，当他凝神观看城里其他名家如鲁本斯、拉斐尔、蒂蒂安和贝里尼的杰作时，他第一次产生了艺术鉴赏的念头，30年后他成了世界上最有眼力的艺术收藏家之
他们一幅又一幅地看了两个小时的绘画流连忘返。展出的还有许多优秀作品和几件雕塑。中午，他们再次来到教堂前，观看昨天没来得及看的雄伟壮观的金属大门。