根据“以特反特”方针，上海市公安局由扬帆负责，经过筛选，先后运用各类反正人员为镇反工作提供线索，取得很大成绩，但也出现了某些疏漏，如让胡均鹤担任情报委员会主任是不恰当的。这种情况引起了华东公安部和中央公安部的注意，经过他们派工作人员下去检查和批评后，上海市公安局作了认真的检讨，并采取了整顿措施；经中央公安部同意，胡均鹤由上海市公安局继续就地控制使用。这时饶漱石已因病离开华东。
高、饶问题发生后，华东和上海在揭发、批判饶漱石时，“以特反特”的事被重新提起，在并无确切根据的情况下，把本已基本查清和解决的上海市公安局利用反正人员参与镇反斗争中所犯的某些错误，耸人听闻地说成饶漱石和扬帆借“以特反特”“重用包庇、掩护了特务分子、反革命分子达三千三百多人”，工作上的失误变成了严重政治事件。
全国党代表会议一召开，毛主席在开幕词中对当时国内外阶级斗争形势作了十分严峻的估计。他说，帝国主义势力还在包围我们，我们必须应付可能的突然事变，帝国主义发动战争很可能进行突然袭击，因此，我们要有所防备。另一方面，国内反革命残余势力的活动很猖獗，必须有计划地再给他们几个打击，使暗藏的反革命分子力量更大地削弱下来，以保证我国社会主义建设的安全。如果我们有所准备，采取适当措施，就可以避免敌人给我们造成重大危害。否则，我们可能要犯错误。
本来，参加全国党代表会议的代表们得知饶漱石闹翻案，已经很恼火，看过反映上海市公安局“重用、包庇和掩护”大批敌特分子的材料，很自然地把它同毛主席开幕词对阶级斗争形势的估计联系起来，更加群情激愤，认为饶的问题已超出犯错误范围，而是对党对人民犯了罪；进而对饶的政治历史提出了疑问，还联系到他抗日战争时期在皖南事变中的脱险，究竟是如他安抵苏北后给中央电报中说的“派警卫员下山收买敌连长成功”，还是被俘后叛变而被派回来充当内奸的。毛主席在作会议结论说到高、饶问题时，提的已经不只是高、饶两个人的联盟，而是高岗反党集团和饶漱石反党集团（在饶的反党集团里点了扬帆和向明的名）的联盟。扬帆既然已被列为饶漱石的“一丘之貉”，饶的问题实际上已由人民内部矛盾转为敌我矛盾了。扬帆早在1954年底就由公安部派人押解到北京隔离审查。1955年4月1日饶漱石被捕入狱同时，扬帆被正式逮捕；与扬有牵连的许多人，包括胡均鹤在内，也相继被逮捕了。
其三，潘汉年的“交待”，引发更大“爆炸”。潘汉年，江苏宜兴人，1906年出生，1925年加入中国共产党，历任中共中央宣传部文委书记、中共江苏省委宣传部长、中共中央特科情报科长、苏区中央局宣传部长、第二次国共合作时中共谈判代表、中共中央社会部副部长、华中局情报部部长、华南局情报部负责人。上海解放后，历任中共上海市委副书记、第三书记，上海市常务副市长，市政协副主席。这次开全国党代表会议，潘是上海市代表之一。
1955年3月下旬，当全国党代表会议的议程进入“高、饶问题”后，一些受到高、饶影响或和“高、饶问题”有牵连的人，先后在会上作了自我批评或交代。毛主席对此表示充分肯定。会议临结束时，毛号召所有同高、饶反党联盟有过某种联系或有所牵连的干部，以及本人历史上有什么问题要交代的，都应当主动向中央或口头报告或写书面材料讲清楚。潘汉年受到很大震动，他想到：自己同扬帆、饶漱石都有过工作联系；在所谓上海市公安局“重用、包庇和掩护”反革命的问题上，自己作为分管政法、情报工作的副市长当然负有一份不可推卸的责任；胡均鹤是由他介绍到解放区去投诚的，如今出了问题，他不能毫无干系。尤其是，他同胡均鹤在抗日战争时期有过一段特殊的联系：当年他策反李士群的过程中，胡是一个重要联络人。1943年夏天，他从新四军淮南根据地到上海同李士群联系时，李借故把他骗到南京，用劫持的手段拉他去见汪精卫，这件事他在回到根据地后，由于种种原因，一直没有向组织上报告过，现在胡均鹤已被逮捕审查，自然会将有关情况交代出来。会见汪精卫这件事虽然没有对党的利益造成损害，但长期没有向党组织报告，这已是很大的错误了，并且不容易说清楚。经过反复考虑，他在全国党代表会议闭幕的第二天，即1955年4月1日，带着写好的材料去向出席党代表会议的上海代表团团长陈毅报告，并请他将那份材料转呈中央。陈毅也大吃一惊，感到事关重大，安慰了潘几句，便匆匆将潘的交代材料亲自送到中南海给毛主席。毛主席看过材料大为震怒，批示：“此人从此不能信用。”并作出立即逮捕潘汉年的决定，在4月3日责成公安部执行。潘汉年的罪名，一是在抗日战争时期秘密会见过汪精卫而又长期没有向组织上报告；二是对上海公安局“重用、包庇和掩护”胡均鹤等大批特务的问题负有直接责任。据此，潘汉年被认定为隐藏在中共党内的“内奸”。1962年毛主席在“七千人大会”（即扩大的中共中央工作会议）上说：“有个潘汉年，此人当过上海市副市长，过去秘密投降了国民党，是个CC派人物，现在关在班房里，但我们没有杀他，像潘汉年这样的人，只要杀一个，杀戒一开，类似的大都得杀。”语气虽是宽容的，却又给潘的问题再次定了性：实际上已断定，潘早在30年代参与国共第二次合作谈判期间就叛党投靠国民党了。