陈果夫与陈立夫以反共开始，为巩固蒋介石在国民党中的地位立下了汗马功劳，没想到蒋介石为开脱自己，竟将在大陆失败的责任全推到他们身上，为了传位给儿子，又将他们一脚踢开，心中不免又气又恼、又怨又恨，但在当时的环境下又不好发泄，只得寻找机会，借题发挥。
病中的陈果夫受此打击，病情愈益加重，遵医生嘱咐不可说话。陈果夫痛苦难言，以此为题，作了一首哑巴歌，歌词曰：
哑巴哥，说不出话真痛苦……听得人家说话，肚里更加不开心，若闻笑骂声，面孔胀得红又青，摩拳擦掌，胆小不敢争。有时候像煞吃过黄连嘴里苦，有时候像煞受了冤屈没处伸。哑巴哥，不能说话苦得很。[15]
陈立夫与陈果夫不同，他对蒋家政权既有不满的言语，更有不满的行动，他还年轻，身体也还可以，他似乎要对自己过去的一切，进行冷静的思考和反省，于是决定离开台湾，离开“政治”，远走重洋。
陈立夫在一切都准备好后，最后一次在台湾公众场合露面是出席“中国工程师协会”的年会，这个协会是陈立夫所能坚守的最后一块阵地。在和会员们见面时，一些CC分子都劝他不要离开台湾，表示愿意继续跟随他奋斗。这种情谊令陈立夫十分感动，他甚至开始怀疑自己的出走是否正确。但也就在此时，蒋介石派人送给他5万美元，说是作为资助费用。这架势，实际上是赶他快点离台。蒋介石这一举动促使陈立夫下定最后决心，尽早离开台湾。
临行前，为了顾及各方面影响，陈立夫还是专程去向蒋介石辞行。蒋介石正好外出没回，宋美龄在家。宋美龄知道陈立夫要走了，装出十分亲热的样子，送给他一本《圣经》，关切他说：“你在政治上负过这么大的责任，现在一下子冷落下来，会感到很难适应，这里有本《圣经》，你带到美国去念吧，你会在心灵上得到不少慰藉。”没想到几句关心的活，倒激起了陈立夫心中无限的怨气，他指着墙上挂的蒋介石肖像，言语低沉，字字含恨地说：“夫人，那活的上帝（指蒋介石）都不信任我，我还希望得那耶稣的信任吗？”
一直传言“蒋家天下，陈家党”，意指中国国民党是由陈果夫、陈立夫操办的，“四大家族”里把陈家并为一家。此次在台“改造国民党”，蒋介石要将陈家去掉，陈立夫在其回忆录中也作了一番追忆：
至于改造之事，总裁乃下手令命我召集小组起草方案，并指定十一人小组共同研究改造，经集会讨论多次后，复予以文字整理，然后呈交总裁。定期召开本党改造会议，在此期间，有二次“中央委员”谈话会议中，有几位老同志如陈肇英、李宗黄等表示：“我们的意思是认为本党之改造，至为必须的，最后由干部作建议，请由总裁决定执行，免得总裁为难，而且亦合乎民主。”此话一出，竟使总裁勃然大怒，深恐改造之事，一经讨论，将会节外生枝。当即愤然斥道：“你们如果不要我来改造党，即只有下面几种办法：第一，就让本党无声无臭的如此下去；第二，你们要给我权，大家要相信我，用民主方式改造是不对的，如你们不相信我来改造，我就不管了，由你们去办好了！”此番震怒，大家都很诧异，直令在座者目瞪口呆。复听总裁继续说：“如果你们不相信我来改造，你们跟陈立夫去好了！”那次会我有病未出席，后来有人告诉我这番话，我心中十分纳闷……当听了总裁这番话后，知道另有原因，盖总裁深知我不能得罪，一经得罪就会离去。这一暗示，遂坚定了我退隐的意志，从速离开那时的党政工作，出国赴美……此时世界道德重整会柬邀赴瑞士开会，我遂趁机向总统说：“我受‘总统’熏陶二十五年，但我很惭愧没有什么表现，得感罪戾！我出国了，今后一切政治问题，请勿找我，我一向对此不感兴趣……”事实上在我出国之后，在养鸡期间，“总统”曾有六次职务托经国同志来信找过我，（一）联合国代表、（二）日本大使、（三）考试院院长、（四）西班牙大使、（五）希腊大使、（六）巡回大使，只是我全没有接收罢了。在出国之前，我并写了两封信：一致与我相熟的同志，劝其继续效忠“蒋总统”；一致比我年长的老同志，表明过去未能做好，引咎辞职出国。[16]
很显然，从此蒋陈分手，陈立夫彻底从“陈家党”中出局了。