对此，井上成美并不同意。他说：“此言差矣，如此说来，不就等于说目前仍在现役中的十几个海军大将都不中用吗？我要是海军大臣的话，是不会作出这样的人事安排的。”
“啊！是这样，原来你也是这样想的呀！”山本若有所失地接着说。
最终，山本的想法还是没能实现。他内心深处中要退职的希望已化为泡影，只好屈从于无法改变的现实—继续担任联合舰队司令长官——去迎接日益逼近的大战日期的到来。
同年4月17日，当时东京第一高等学校（中学）校长安培能成带领的12名学者一行步行参观了横须贺军港、航空队和泊于该港的联合舰队旗舰“长门”号。
参观团一行人员，除安培外，还有松下正寿、大河内一男、当时《朝日新闻》社社论委员关口泰、经济学家本位田祥男、行政法务部门的田中二郎、植物学界的服部静夫、政治学界的矢部真治和原日本广播协会会长永田清等各界人士。
海军省官房（办公厅）调查课课长高木吉大佐及其属下课员们为参观团一行作向导。海军教授本重治也一起陪同了参观。
他们中，除个别一两个人外，大都是持自由主义观点的反战者。由这些知识界人士组成的团体，作为海军调查课的咨询机关，经常参加海军召集的“思想恳谈会”、“外交恳谈会”、“政治恳谈会”等各种会议。每次会议都有用以掩人耳目的各种议题，但实际上是征求各种意见，研究如何避免同美国开战以及一旦战争爆发后如何尽早使战争得到和解的方法。通过调查课海军与自由主义的知识分子保持接触和联系。海军所以采取这种形式和方法，也是有一个认识过程的。用高木的话说就是，一开始并没有怀着很明确的目的去建立这种“智囊团”，只是因为考虑到同陆军相比，海军力量薄弱，政治上的影响也有限，要制止陆军的一意孤行（主战），单靠海军自己的力量是不够的，必须得到国民各阶层的支持。所以才认识到，无论如何也要加强同国民各阶层的联合。但就日本当时的情况来看，首先必须广泛地同大的宣传机构（新闻界）、财政金融界和知识分子阶层接触，才能达此目的，舍此别无其他办法。
在财政金融界，就是要通过池田成彬、乡诚之助用各种形式（包括召集座谈会）广纳意见；在知识界就是要经常召集各文化系统的有影响的人士（30～40人）分析形势、交换意见，与此同时，还要把海军的观点、想法灌输给他们，并明确指出海军所面临的具体困难，需要国民的哪些支持等等。这就是组织这种“智囊团”的最初的目的。
就在海军以高木为首的有关人员基本展开这一组织工作时，大战日期已经迫近了。战争到了弩拔箭张的程度。在这种情况下，学者们达成共识：如果不尽早制止这一危险的战争，那么，日本将发生不测，前途不堪设想。
知识界的有志之士也都希望能尽早找到避免战争得到和解的途径。来“长门”舰参观的12名知识界人士都是以不同种形式与“恳谈会”有关的人。
在没有登上“长门”之前参观团一行就听说，山本司令官今天不在舰上。上舰后，果然如此。待他们在舰内参观约一小时返回甲板上来时，有人报告说：“正巧，现在司令官已从岸上回来了。”话间，山本已登上甲板。高木立刻进前问候，并在甲板升降口处把前来参观的人员一一向山本作了介绍。
于是，山本面带扫兴的表情对高木说：
“你们为什么不预先通知我呢？这太遗憾了。这是个难得的好机会，即使没什么好吃的招待客人，我们也应该在舰上共进午餐。”
当高木告诉山本他们已经接受横须贺镇守府司令官盐泽大将“到横须贺水交社去吃午饭”的邀请时，山本似有反感地说：
“不行，到‘养命酒’那儿去，不好！”
可是，参观团一行还是婉言谢绝了山本直言真诚的挽留，离开了“长门”舰。
这一瞬间的情景，给高木吉大佐留下了深刻的印象。直到战后，他在他的著作中还很遗憾写道：
当时到“长门”舰的参观团一行，如果接受了山本五十六的挽留，一定会给他们留下美好的回忆。
他还写道：
论年龄，该参观团中，除了团长安培能成比山本大一岁，余者都比山本年轻。在魄力和勇气方面，连海军报道部的那些知多识广的人尚有怯懦、胆小的毛病，但有时却又显得那么自命清高，动辄还爱挑剔别人。相比之下，同他们着同样军服的山本却迥然不同。他慷慨大度，落落大方。