蒋介石不仅根据《戒严令》有效地控制了台湾全岛，还实行了严厉的“党禁”。在台湾，除了国民党，就只有民社党、青年党可以合法存在。民社党的前身是张君励在1934年创立的国家社会党，1946年和民主宪政党合并为民主社会党，信奉“国家社会主义”，曾是民盟成员，因参加“制宪国大”而被开除出盟。青年党是曾琦、李璜等人于1923年在巴黎创办的一个小政党。该党信奉“国家主义”，解放战争一打响，就旗帜鲜明地站到了蒋介石一边。民、青两党到了台湾后，自家内部矛盾重重，限于瓦解的境地。但国民党对这两个曾站在同一条战壕中的小兄弟仍不放心。因此，在迁台早期，对民、青两党的发展并未采取积极鼓励的态度，甚至还对这两个党派进行渗透、分化，造成两党内有亲国民党与反国民党的派系冲突。
另外，根据20世纪50年代初期“调集的熟悉情况的‘活字典’犯人所供述”的材料，蒋介石在台湾已经建立的“情治”机构有如下一些：（1）台南市私立国际无线电专科职业学校。由原军统黄冕任校长，于1949年下半年在台南市成立。该校设通讯、工程二系，修业期间均为六个月。（2）台湾省警察训练所——台湾省警察学校。台湾光复后，台湾行政长官公署派军统徐励为台湾警察训练所所长，接收日本“巡查练习所”物资器材，在台北市广州街筹备成立，该所编织庞大，分期训练大批警员。1948年间，改为台湾省警察学校，军统吴建中、胡国振、汪弼、陶一珊等先后任所长或校长。（3）台湾省澎湖防卫司令部子弟学校电训班。1950年夏，“保密局”指派在台湾省澎湖防卫司令部电讯特务在该司令部主办的子弟学校内创办电讯训练班，挑选由山东逃至澎湖的青年学生加以训练。至1951年初训毕两期，60多人，大部分为“保密局”吸收。
革新“军制”
蒋介石知道，重新掌握一支可靠而有战斗力的军队，是巩固他在台湾统治以及同大陆对峙的最后“血本”。
黄埔时期，蒋介石就开始抓军权。抗战结束时，蒋介石拥有了430万嫡系、非嫡系部队，其正规部队多为美械半美械装备，还接收了100万日军装备。但是，经过内战的消耗，尤其是辽沈、平津、淮海三大战役的打击和湘粤、广西、西南“新三大战役”的“大迂回、大包围、大歼灭”，蒋介石的军队就剩下不多了。
1949年底至1950年底，先后撤退到台湾的国民党残兵败将共有60万左右。这些军队沿袭了在大陆时期的各种恶习。首先，派系林立，各树一帜，带兵的将领为照顾本部利益，往往不听指挥，不服调动。其次，军队内部贪污腐败，不同程度地存在着吃空额、克扣军饷、赌博、嫖妓、殴打士兵、滥用私人等腐败现象。军队所到之处，拉、抢粮、偷鸡摸狗、污辱民女事件层出不穷。再次，由于在内战中现拉现补、立征立补，军队缺少基本的训练，战斗力极差。许多中下级军官都是老兵油子，以保住性命为第一要旨。
1949年8月，陈诚出任东南行政公署长官，下令所有从大陆撤退台湾的军队，均须放下武器，按照警备司令部的安排，在指定的地点登陆宿营，再按计划分别进驻各训练基地重新登记造册，整肃纪律，然后再发还武器，派驻防区。这次整编，先后取消了10余个民团司令部、30余个军师，裁并了7个军事单位。
1950年3月，蒋介石复任总统，立即肯定陈诚的整编成果，在此基础上掀起整军、建军运动：
第一，对将领进行“整肃”。退台后，蒋介石为震慑军心、稳住阵脚，从军队的高级将领开始，进行“整肃”。1950年6月，蒋介石以“通共罪”，枪决了前副参谋总长吴石和第四兵站总监陈宝仓。接着，又以“通共策反汤恩伯罪”，枪决了原国民党浙江省主席陈仪；以“平潭战役不力”，分别判处原第六兵团司令李延年和73军军长李天霞有期徒刑20年。就连蒋介石的昔日爱将汤恩伯、胡宗南亦不能幸免。1949年10月17日，汤恩伯率残部退守金门。10月25日，金门战役打响，汤恩伯在战斗中要求撤退，蒋介石严令死守。不久，汤恩伯部得到从广东撤来的胡琏兵团的增援，反败为胜。10月27日，陈诚到金门视察，令胡琏取代了汤恩伯的指挥权。29日，陈诚“伴送”汤恩伯飞返台北。以后，“汤司令”基本以养病为主，不再被允许干预军事了。1950年3月，另一位军中“强人”胡宗南，从西昌逃往台湾。5月，国民党“监察院”通过弹劾案，毫不客气地给他扣上了一顶“丧师失地、贻误军国”的大帽子。直到1951年9月，胡宗南才被重新起用为“江浙人民反共游击总指挥”，化名长驻大陈岛，算是让他“戴罪立功”。1952年10月，蒋介石又根据“军官假退除役制度”，宣布阎锡山、徐永昌、何键等140名年高失势的将官和一大批校官退出现役。另外，蒋介石又实施“军校教育制度”。他进而规定各级军官一律要经过军校培养和轮训，以“消除派系观念”，造就出“效忠党国”、“注重制度与法令”的各军兵种指挥人员。此外，蒋介石还在军队中建立主要军事单位主官两年任期制，适时轮调、慰留或免除其职务，以防止拥兵自重、权力膨胀。