2001年2月25日，利库德集团主席办公室，沙龙沉默无语，陷入沉思状态。
沙龙虽然以压倒性胜利当选政府总理，但是因为这次大选只选举总理，以色列议会中120席的各党派力量没有发生变化，以工党为首的左翼仍然占据上风，沙龙能够争取的盟友有限，在45天内组成联合政府显然并非易事。
因此，组织联合政府便成为沙龙面临的最重要问题。他打算组建一个能够处理好以色列与巴勒斯坦问题的基础广泛的联合政府。
沙龙首先得设法把竞选对手——工党领导人巴拉克请进内阁。
巴拉克在以色列总理大选中落选后，工党内部曾一度发生分歧，主要成员意见不合。在2月25日的内阁成员的会议上，巴拉克等人几经争吵，最后终于达成协议，决定让前总理佩雷斯临时出任工党主席，但是这个提名必须提交2月26日召开的由600人组成的工党中央委员会审核通过。
工党和沙龙的利库德集团2月25日晚就组成联合政府事宜开始谈判。
沙龙表示，愿意与工党建立“真正的伙伴关系”，在“相互尊重、共同履行义务”的基础上，建立一个广泛的民族团结政府，共同致力于以色列的和平与安全，许诺给予两党相同的部长席位。这样，除了工党的两个要求没有达成协议外，两党已经就其他问题达成一致。
调查结果显示，大多数工党人士同意工党加入联合政府，让佩雷斯担任要职。
沙龙让佩雷斯挑选的职位是外交部长和国防部长。据沙龙估计，佩雷斯很可能选择外交部长。
与此同时，经沙龙多次交涉，以色列极端正统派——沙斯党同意加入联合政府，这使以色列当选总理沙龙组成联合政府的努力稍见成效。
沙斯党在议会中有17个席位，是以色列议会第三大党。它曾经在过去的历届联合政府中起过重要作用，一直是沙龙竭力争取的对象。
然而，以色列看守内阁总理巴拉克却以书面形式向新当选总理沙龙提出，他将不会在新政府中任职；并且同时向工党秘书长犒恒表示，他在近期内退出议会和工党主席职位。巴拉克在2月6日大选落选后的演讲中，又以辞职宣言的形式向左翼选民宣布将暂时退出政界。
巴拉克的举动引起工党内部的矛盾激化，以议长伯格、内政部长拉蒙为首的众多工党高层成员公开反对巴拉克复职。
沙龙深知，没有工党领导人参加的沙龙新政府将举步维艰，利库德集团前主席内塔尼亚胡正在伺机以待。于是，沙龙根据事态的最新发展，再次全力争取工党领导人入阁，以维持自己的政治生涯。
这时候，工党内出现了争夺党主席的激烈的内部斗争，这给沙龙提供了机会，沙龙向工党发出最后通牒，要他们在一个星期内决定是否加入联合政府，以色列需要一个团结政府来结束巴以之间的暴力冲突。
于是，在沙龙的拉拢引诱下，巴拉克推翻了自己早前的说法未能入阁，佩雷斯入阁担任外交部长，沙龙终于组成了一个联合政府。
2001年3月7日晚，在以色列政府大厦隆重举行新内阁就职仪式。
当选总理沙龙西装革履、精神焕发地正式宣誓就任以色列总理之职。
沙龙首先向以色列议会递交了他的内阁成员名单。
在国会信任投票前，沙龙向议会做了关于新联合政府的陈述报告。他苦心孤诣，大抓和平旗帜。沙龙表示将尽力解决已陷入僵局的巴以局势，并称其新政府的“首要任务”将是与“暴力和恐怖”进行不懈的斗争。
由于早有沟通，议员们对沙龙的内阁成员也很感兴趣：沙龙联合政府部长的组成可谓囊括尽了各个派别，既包括诺贝尔和平奖获得者、外交部长西蒙·佩雷斯，也有主张让所有巴勒斯坦人“迁移走”的右翼极端分子雷哈瓦姆·泽维。以色列人数甚少的伊斯兰德鲁兹教派成员、以色列工党的萨拉赫·塔里夫将成为该国历史上第一位阿拉伯部长。尤其值得一提的是，沙龙内阁中有三位女部长，这比以色列以往任何一届内阁的女性成员都多。
议会随即以72比21的悬殊比率正式批准了沙龙的内阁组成。新内阁由26名成员组成，成为以色列有史以来人数最多的内阁。
随着以色列“国家安全政府”的组建，沙龙终于渡过政治险境，他轻轻地松了一口气。
当地时间3月7日晚上（北京时间8日凌晨），沙龙正式就任新一届以色列联合政府总理，沙龙终于登上以色列总理的宝座。
此时的沙龙，意气风发，趾高气扬，昂首宣布他的雄心壮志：
“我感到自己的责任十分重大，特别是在这样一个时期。我相信，在同僚的支持下，我们将会对以色列面临的危险做出明确的反应！
沙龙在就职仪式完成后，呼吁全国各政治派别和社会阶层实现民族和解与团结，打击恐怖和暴力活动，实现安全与稳定。
沙龙认为安全是他“最优先考虑的事情”，他主张扩展以色列边界，以便“在未来阿以力量对比发生不利于以色列的变化的时候，能够依仗足够的战略纵深，有效地保卫以色列的安全”。
因此，沙龙主张在以色列北部加利利和南部内格夫地区建设新城镇，以“避免居民集中在中部地区，因为一旦战争爆发，该地区容易受到攻击”。
沙龙主张修建贯穿以色列南北的高速公路，“保证战时道路畅通”；主张保留约旦河西岸60％的领土，沿约旦河谷设立一个15-20公里宽的“安全带”，从而把以色列可能受到的威胁“降低到最低限度”。
沙龙决心发展经济，要在以后三年时间里，每年对基础设施增加投资约5亿美元，增加对公路和铁路的财政拨款；要抑制政府财政预算赤字增长，保持物价稳定，将今后两年的通货膨胀率控制在1％至3%，将收入所得税减少37%。他表明要创造新的就业机会，力争2001年的失业率不超过8.9%。他宣布组建由其亲自领导的“经济内阁”，努力使以色列“在与国际社会接轨和参与国际竞争的基础上，成为开放型的现代化经济强国”。
沙龙郑重声明，他会在完全制止巴勒斯坦人对以色列的反抗后，恢复与巴勒斯坦的和平谈判。沙龙承诺将恢复以色列人的安全，在中东地区实现他所称的“真正和平”。
沙龙在演说中说，与巴勒斯坦人谈判的任何和平协议都必须保障以色列人的利益，其中包括一个不可分割的耶路撒冷。沙龙同时呼吁巴勒斯坦人结束恐怖行为和暴力冲突，共同就他所称的“实质和平”进行谈判。
沙龙招摇过市地到耶路撒冷的“哭泣墙”祷告，他再次重申，在圣城地位的问题上，拒绝向巴勒斯坦人让步。
2001年3月13日，以色列政府大厦，沙龙焦躁不安。
沙龙一就任以色列民族团结政府总理，就准备大干一番以大展宏图。
他始终没有想到，新政府仅成立没几天就出现深刻裂痕，原因是以色列军方强化对约旦河西岸城市拉马拉的惩罚性封锁，触怒了巴勒斯坦人并引起强烈抗议，使以色列与阿拉伯国家的冲突加剧。
沙龙对此感到头疼，认为必须设法尽快予以解决。
沙龙上任时，承诺要消除五个多月来的骚乱，恢复以色列的安全，但是他上任以来采取的第一项具体措施，就立即遭到工党部长们的否决。
以色列联合政府中的鸽派领袖、外长佩雷斯率先反对这项针对巴勒斯坦人的最新措施。
佩雷斯强烈地提出反对意见说：“这项措施不妥当，必须修改！
沙龙看到巴勒斯坦人开始举行大规模示威，抗议以色列强化对拉马拉的封锁，当他们要求重开西岸道路时，与以色列士兵发生了暴力冲突。
巴勒斯坦人用推土机和双手，在苏尔达村落附近把比尔宰特至拉马拉的堑壕填满。对此，以色列国防军向投掷石块的巴勒斯坦青年发射橡胶子弹和催泪弹，造成至少一人死亡和11人受伤，有的被橡胶子弹射伤，许多人被催泪弹熏倒。
在以色列内阁会议上，沙龙义正辞严地陈述他的五项原则，其要点是保障以色列的安全。
这五项原则包括：政府将采取一切措施确保全体以色列人民的安全；制止巴勒斯坦人进行暴乱；避免以巴冲突进一步加剧并防止巴方利用冲突达到某种目的；防止以巴冲突问题国际化；减少以巴冲突导致地区局势恶化的可能性；始终保持以巴恢复和谈的可能性，但只有在冲突平息后以巴才能进行谈判。
国防部长埃利泽在内阁会议上极力主张，他对以色列在巴勒斯坦控制的地区使用坦克和直升机表示关注，并说他已给以色列安全部队下令，不要对巴勒斯坦平民开枪。
对此，外交部长佩雷斯等强烈反对，双方展开激烈争论，大喊大叫，一时很难达成一致。
沙龙从来都是吵架能手，对吵架似乎有超常的兴趣，但是他现在登上了以色列总理的宝座，可谓今非昔比，觉得这样太不像话了，就摆出老资格政治家的派头，厉声喝道：
“都给我住口，消停一点儿！”
众人见73岁的老总理发怒，就都哑口无言，争论暂时告停。
沙龙望他的部长们一眼，招手让他们都回归原位坐好，面带微笑说：
“不知怎么搞的，我们一争论起来，就没有不面红耳赤的，最基本的礼貌、礼节，却被我们这些常常自以为最有教养的政客们遗忘得干干净净，岂非咄咄怪事？”
外交部长佩雷斯冷笑一声在一旁自语，想当年，你比谁都能吵架，现在当了总理就变得那么快？但是，出于礼貌质问道：
“请问总理阁下，在内阁会议上高声辩论已成陋习，你有何高见？”
沙龙一直在考虑这个问题，他想到要当好总理，就得设法把这些桀骜不驯的家伙管住，得给他们立一些规矩，于是严肃地提议说：
“为了提高新内阁的工作效率，我提议约法三章！”
佩雷斯觉得十分奇怪，不知沙龙葫芦里卖的是什么药：“怎么约法三章？”
沙龙有板有眼地说：“开会不得迟到，在内阁会议上尽量减少批评，严禁对内阁同事喊叫和咒骂！”
多年来，佩雷斯深受沙龙暴跳如雷之苦，认为这首先是对脾气暴躁、喜怒无常的沙龙的约束，便欣然表示同意“太好了，我完全赞成！
沙龙也庄重地说：“从今天开始，我们新政府的25名部长开会的时候，都应该遵守秩序和纪律，发言要客气，少发牢骚，多干事！”
从新内阁迈出最初的步伐时起，沙龙便“有言在先”，尽量少吵架，增强凝聚力，提倡务实的作风。
2001年6月中旬，以色列电视台举行的民意测验结果显示，沙龙内阁的支持率高达70%。