在高干会上，郭峰虽然反复检查，但仍然无法过关。他自己也想不通为什么18岁就跟着党闹革命，今天竟然会成了“反党”分子？但他在会上还是认认真真地一次次主动地剖析自己，“交待”自己与高岗的“关系”。
被称为高岗“亲信”的郭峰，与高岗究竟是什么关系？
东北地区高干会议结束后，郭峰向组织上写过一份“交待”材料。这份“交待”材料虽然产生于那种特殊年代，但我们从中也可以看到郭峰乃至其他的“五虎上将”成员与高岗究竟是一种什么样的关系。
郭峰在这份长篇“交待”材料中，详细地回顾了自己自1946年以来在各个历史时期与高岗交往的情况，说明了自己是如何从工作接触中对其“听取下面意见，具体研究问题”产生了很好的印象。虽然与高岗在工作中也时常产生分歧，但高岗“对我是日益器重，有意拉拢”。
在“交待”了七年来与高岗的“来往关系的情况与在各个时期主要关键问题上我对他的态度”后，郭锋说：
总的说，在政治上我是完全拥护他的，对他的领导作风方面从我每次参加东北局会议及个别谈话中的给我的印象当时一般是好的。如对于他注意抓主要问题（今天看很片面性），多方征求下面工作同志意见，也很民主（今天看是虚伪的，偏听偏信的），很谨慎（今天看是心中有鬼怕出岔子），工作要求总是强调具体解决问题（今天看是很一般化的）是满意的。我也曾向杨易辰等同志宣传过。但另外我对高岗不重视党的建设以及组织上的狭隘我是有意见的。而对其报喜不报忧，愿听好不听坏，吹嘘自己，个人突出也是不满的。
但是由于自己误认为他一贯是执行中央路线的，在经济恢复时期一些具体政策问题上见解也是“正确”的（当时看到他的许多报告为中央批准、转发，均误认为是他的意见，不了解他不学无术，马列主义极少，这些都是根据中央或偷窃中央的指示，或是东北局集体领导成果，许多都是经中央修改过的）。中央、主席甚至斯大林同志对他又是那样器重（当时不了解是他的吹嘘、谎骗），加上他对自己的器重，有时还作不适当的表扬鼓励，吹吹拍拍，与不断的提拔、拉拢也就助长了自己的个人主义的发展，于是对他也就越来越加信任与拥护了，对他的一些毛病、不满也就有所原谅，认为是一般性的问题（对其生活腐化当时是不知道的），失掉了应有的警惕，以致受他的影响越来越深，终于陷到他反党的宗派圈子里。
虽然郭峰在努力地检讨自己和高岗的关系，但他同样未能避免被撤销党内职务的命运，并且是当年的“五虎上将”中第一个被下放到基层工作的。他于1954年9月上旬来到了位于大连地区的旅大地方国营机械五金总厂，任分管计划、财务、劳动工资、基建、技术检查工作的第一副厂长。
一名即将上任的中共中央组织部副部长突然被撤销了党内职务，下放到工厂任副厂长，内心的痛楚已经无须赘述。但郭峰并没有从此消沉，一蹶不振，而是不计个人得失，相信党组织总有一天会正确对待自己。他来到五金厂后，虚心向工人师傅学习，努力钻研业务，积极勤奋地工作，尽职尽责地完成好组织上交给的任务，很快就成为一名企业管理的内行，在企业发展中起着重要的作用。
工作之余，郭峰无法忘记“五虎上将”这顶扣在头上的帽子。然而，百思不得其解，他即使怎样反省，也不明白自己怎么会成为“反党”分子。一日梦里惊醒，他提笔写下了这样两句诗：
梦里依稀反党痛，
身外变幻革心成。
然而，心中的酸楚使他难以平静，苦闷、彷徨的心态无法让思绪归拢，他只好在写下这两句后丢笔长叹，仰望着神秘莫测的夜空。
八年后，当郭峰离开大连时，他才又为这首当年未完成的诗作续写了以下两句：
三番五次经炉火，
心丹志纯更坚贞。
1959年初，在旅大地方国营机械五金总厂表现尚好的郭峰被调到大连市计委工作，1962年7月，又被调到辽宁省财贸办公室，任副主任，主抓业务工作。虽然此时仍然不是可以信赖的依靠力量，但终归已经不是随时需要检查的被斗争对象，所以，郭峰对于自己的工作还是比较满意的。然而，好景不长，“文化大革命”爆发后，郭峰于1967年再度被打倒，并被扣上了四顶帽子：“30年代的叛徒、40年代的伪君子、50年代的黑干将、60至70年代的走资派”。于是，在经历了数不清的批斗后，郭峰又于1968年被下放到“五七干校”，接受劳动改造。