第二，对军队实行整编。蒋介石复职后，以在大陆兵败为戒，对退到台湾的残余部队实行整编。首先，采取“精兵”政策，裁撤浮额，归并建制，退台后一年内撤销了240多个军事单位，并编列陆军、海军、空军三个军种和装甲兵、炮兵等兵种和宪兵部队，总计兵力达50万人。其次，重整军纪，严加训练。蒋介石提出重整军纪要发扬三种精神——“合群”的精神、“服务”的精神、“牺牲”的精神，并提出要特别加强军法教育、爱护公物的教育、生活行动的教育以及卫兵教育。[66]再次，在蒋介石主控下，仿效美式建制，重建军事体制和首脑机关，以加强统一指挥。其基本框架是：“总统”掌握最高军权。“总统”之下，分设“军政系统”、“军令系统”。“军政系统”的中枢是“国防部”，辖人事、人力、物力、军法、法规、战略计划研究、军事工程等四个室、五个局、五个委员会，主管军事行政。“军令系统”的中枢是“参谋总部”，辖陆军、海军、空军、联勤、警备总司令部、宪兵司令部以及澎湖、金门、马祖“防卫”司令部，主要执行“总统”的军令，指挥三军。
第三，增设“政工系统”，实行“监军制”。黄埔时期，因受苏联和中共的影响，国民党在军队中设有党组织和政工机构。第一次国共合作失败后，共产党和国民党左派遭到清洗，军队中的政工干部随之变为负有特殊使命的“监军”。特别是在杂牌军中，政工人员几乎都是特务系统派到主官身边的眼线和钉子。1945年秋，国民党为了作出“军队国家化”的姿态，以达到诱骗共产党交枪的目的，曾一度取消军队中的党务组织，军中政工机构也改为“新闻单位”。1947年1月，国民党颁布宪法，其第138条明文规定：“全国陆海空军，须超出个人、地域及党派关系之外，效忠国家。”这等于宣告了“以党领军”的违宪原则。由于受到“宪法”束缚，国民党派在军队中的“监军”们工作更为困难，对官兵的控制力也日益减弱。蒋介石对此感受甚深，他在主持政工干部学校第一期学生开学典礼时讲：“我们革命军自从民国十三年成立以来，政工在军队里面，一直是一个基本单位和基本力量。所以政工工作如果在军队里做得好、有效力，则士气必趋旺盛，必打胜仗；否则这个军队就会慢慢变质，甚至消灭，革命就要随之遭到失败。因此，政工工作不只是一个军队的灵魂，也可以说是军队的基础。没有政工的军队，好似一个没有灵魂的人，只剩躯壳，那就无异于行尸走肉，毫无作用。”[67]
1950年2月，国民党中央置“违宪”的罪名于不顾，决定恢复军队党务，并筹议政工改制。3月1日，蒋介石“复行视事”，随即宣布成立隶属于“国防部”的“总政治作战部”，下辖人事、党务、保防等九个处、四个室、一个委员会和五个总（大）队，除执掌军队党务和政治教育外，以政治和监察为要务，“调查官兵行为”，“监察官兵思想，检举动摇分子”，防止军中“叛变”行为。3月21日，蒋介石任命蒋经国为“总政治作战部主任”，蒋经国又任命他的门生易劲秋掌管人事业务。为了日后能顺利开展工作，国民党还制定了“没有政治部主任副署的部队长命令无效”制度，这使政工人员一下跃居到与军事主官平起平坐的地位。
“总政治作战部”成立后不久，国民党即批准实施了《国军政治工作纲领》，以强化其在军队中的“领导核心”地位。针对国民党内有些持反对意见者，蒋介石发表讲话说：“要把关系革命成败，革命军的基本组织——军队党部，亦不留余地的彻底取消，这无异于数典忘祖，自毁生命，当然非招致败亡不可！”又说：“使军队党部真能成为有主义、有精神、有纪律、有生命的基本组织，切不可再如过去有名无实的军队党部，使本党本军重蹈败亡的覆辙。更要以身作则，积极推进工作，实事求是地来加强我们革命精神武装，使我们军队党部真能成为复兴民族，复兴革命，雪耻复仇的国民革命军新生的力量，来达成国民革命的第三任务。”他斥责国民党“一般将校的脑子里，就很少有三民主义的思想和三民主义的信仰的影子存在，有的都无非是一些全身家、保妻子的观念，和争功委过、升官发财的根性……结果就是上不信下，下不信上，既不信战友，且不信自己，那还有什么团结一致可言……过去我们大陆剿匪的军事失败，就是失败在这没有思想和没有信仰的上面”。