经过上述摩擦，陈诚派已现颓势。1960年3月，蒋介石通过修改“临时条款”，蝉联第三届“总统”，彻底封杀了陈诚的“元首”梦。陈诚虽也蝉联了“副总统”并继续兼任“行政院长”，但声望明显不及以前，各种麻烦也就接踵而来。
首先是来自“立法院”内CC派的责难。根据伪宪法，“行政院长”需经“总统”提名，“立法院”批准方能就职。因此，在“总统”换届后，陈诚的“行政院长”职务亦须经一番提名程序方为有效，但他竟未经“立法院”批准，擅自走马上任。“立法院”据此认定陈诚“违宪”。陈诚火冒三丈，连续向蒋介石递交两份辞呈，其中说：“国难方殷，劳怨虽不敢辞，但以言任劳，不免劳而无功，以言任怨，甚或积怨成仇。”这场风波，最后总算由蒋介石出面摆平，陈诚的辞呈亦未被接受。
不久，台湾空军一架飞机投奔大陆。蒋介石在国民党“中常委”会议上提及此事，参谋总长彭孟缉认为是军队待遇菲薄所致，蒋介石即指示给军队加薪。陈诚认为军人加薪，文官势必要求仿效，“政府”实无此财力。张其昀、谷正纲亦主张增加军人待遇。陈诚认为这是有意和他为难，反问钱从哪里来，并斥责张、谷说话“不负责任”。但在蒋介石的坚持下，“立法院”还是通过了以46000万元新台币调整军公教人员待遇的提案，交“行政院”执行。陈诚考虑到预算平衡，把这项开支削减到28000万，招来一片骂声，各报馆接到军公教人员的抗议信达数万封。为平息舆情，蒋介石下令照原预算执行，结果蒋氏和CC派“立委”都成了好人，惟独陈诚背了黑锅。为调解陈诚与“立法院”的矛盾，蒋介石又出面宴请国民党籍“立委”，请他们对“行政院”“相忍相谅，合作团结”。陈诚也被迫表示，“请大家对我多了解与原谅”。
陈诚的身体本来就差，甚至不如比他大十几岁的蒋介石。一番怄气斗法之后，终于筋疲力尽，訇然倒下。1960年7月下旬到9月中旬，陈诚病休了近两个月。上班不久，又再次告假，一直休息到11月初。《新生报》曾为他抱屈，说他的“大部分时间精力，要用来对付自己人”。在陈诚养病期间，爆发了雷震案件。雷被捕时陈作为“行政院长”竟全然不知，这表明他已完全无力控制警特系统。而随雷案降临的“政治冰封期”，亦宣告了陈诚“开明路线”的终结。
眼见着“自由分子”阵营瓦解，蒋介石终于同意兑现“反共救国会议”，算是对陈诚的一点儿安慰。但是他又规定：（1）会议的名称既不可以是“国是会议”，也不可以是“反共救国会议”，只能称之为“阳明山会谈”；（2）会议的议题严格限定在“文教科学财经”之内；（3）邀请的对象，以大资本家、大地主，工会、渔会、农会等社团的头头，以及海外各地的反共侨领为主；（4）会议的功能，主要是征求意见，属咨询性质；（5）会议的决议没任何约束力。这样的一种会议，同当年为建立“反共联合战线”而筹备的“反共救国会议”毫无共同之处。因为既然要建立“反共联合战线”，请的自然是那些既反共又反蒋的“自由分子”，至于本来就拥蒋的人，倒没必要参加这种会议。以后，这种非驴非马的“反共救国会议”断续召开，渐渐形成为每年一次的例行公事，名称亦改为“国家建设座谈会”，也称“国建会”。
1965年，陈诚病逝于台北。
蒋介石的“安慰”让陈诚在“自由分子”面前丢尽了脸，实在是消受不起。1961年11月，国民党召开八届四中全会，陈诚再次病倒，只寄给大会一封建议书，说了些“全党团结，拥护总裁”之类的套话。此后陈诚上一段班，请一段假，其对各方面的控制力和影响力亦不免渐呈松弛状态。1963年，陈诚病情恶化。同年12月4日，他终于卸去“行政院长”兼职，由“好好先生”严家淦接任。
1965年3月5日，陈诚因肝癌不治，逝世于台湾。蒋经国在陈诚的遗体旁对记者说：“‘副总统’的逝世，对党国来说，是一件无可比拟的重大损失；对我个人来说，乃是失去了一位追随近30年的导师。”同日，台湾举国民党“中常委”作出决议，称陈诚一生：“革命圣战，无役不从，烛照机先，深谋果断”，“不辞艰危，不辞劳怨”；“镇抚东南，秉承总裁指示，贯彻党的政策，以土地改革安定民生，以工业建设增强国力，俾克建设台湾三民主义模范省，承担反攻复国之大业”。[175]蒋介石写挽联曰：“光复志节已至最后关头，那堪吊此国殇？果有数耶！革命事业尚待共同完成，竟忍夺我元辅，岂无人乎？”接着，他又发布“总统令”：自3月6日起，党政机关、部队、学校、团体等，一律下半旗10日致丧。“国防部”亦奉命全军缟素。