工党和沙龙的利库德集团2月25日晚就组成联合政府事宜开始谈判。
沙龙表示，愿意与工党建立“真正的伙伴关系”，在“相互尊重、共同履行义务”的基础上，建立一个广泛的民族团结政府，共同致力于以色列的和平与安全，许诺给予两党相同的部长席位。这样，除了工党的两个要求没有达成协议外，两党已经就其他问题达成一致。
调查结果显示，大多数工党人士同意工党加入联合政府，让佩雷斯担任要职。
沙龙让佩雷斯挑选的职位是外交部长和国防部长。据沙龙估计，佩雷斯很可能选择外交部长。
与此同时，经沙龙多次交涉，以色列极端正统派——沙斯党同意加入联合政府，这使以色列当选总理沙龙组成联合政府的努力稍见成效。
沙斯党在议会中有17个席位，是以色列议会第三大党。它曾经在过去的历届联合政府中起过重要作用，一直是沙龙竭力争取的对象。
然而，以色列看守内阁总理巴拉克却以书面形式向新当选总理沙龙提出，他将不会在新政府中任职；并且同时向工党秘书长犒恒表示，他在近期内退出议会和工党主席职位。巴拉克在2月6日大选落选后的演讲中，又以辞职宣言的形式向左翼选民宣布将暂时退出政界。
巴拉克的举动引起工党内部的矛盾激化，以议长伯格、内政部长拉蒙为首的众多工党高层成员公开反对巴拉克复职。
沙龙深知，没有工党领导人参加的沙龙新政府将举步维艰，利库德集团前主席内塔尼亚胡正在伺机以待。于是，沙龙根据事态的最新发展，再次全力争取工党领导人入阁，以维持自己的政治生涯。
这时候，工党内出现了争夺党主席的激烈的内部斗争，这给沙龙提供了机会，沙龙向工党发出最后通牒，要他们在一个星期内决定是否加入联合政府，以色列需要一个团结政府来结束巴以之间的暴力冲突。
于是，在沙龙的拉拢引诱下，巴拉克推翻了自己早前的说法未能入阁，佩雷斯入阁担任外交部长，沙龙终于组成了一个联合政府。
2001年3月7日晚，在以色列政府大厦隆重举行新内阁就职仪式。
当选总理沙龙西装革履、精神焕发地正式宣誓就任以色列总理之职。
沙龙首先向以色列议会递交了他的内阁成员名单。
在国会信任投票前，沙龙向议会做了关于新联合政府的陈述报告。他苦心孤诣，大抓和平旗帜。沙龙表示将尽力解决已陷入僵局的巴以局势，并称其新政府的“首要任务”将是与“暴力和恐怖”进行不懈的斗争。
由于早有沟通，议员们对沙龙的内阁成员也很感兴趣：沙龙联合政府部长的组成可谓囊括尽了各个派别，既包括诺贝尔和平奖获得者、外交部长西蒙·佩雷斯，也有主张让所有巴勒斯坦人“迁移走”的右翼极端分子雷哈瓦姆·泽维。以色列人数甚少的伊斯兰德鲁兹教派成员、以色列工党的萨拉赫·塔里夫将成为该国历史上第一位阿拉伯部长。尤其值得一提的是，沙龙内阁中有三位女部长，这比以色列以往任何一届内阁的女性成员都多。
议会随即以72比21的悬殊比率正式批准了沙龙的内阁组成。新内阁由26名成员组成，成为以色列有史以来人数最多的内阁。
随着以色列“国家安全政府”的组建，沙龙终于渡过政治险境，他轻轻地松了一口气。
当地时间3月7日晚上（北京时间8日凌晨），沙龙正式就任新一届以色列联合政府总理，沙龙终于登上以色列总理的宝座。
此时的沙龙，意气风发，趾高气扬，昂首宣布他的雄心壮志：
“我感到自己的责任十分重大，特别是在这样一个时期。我相信，在同僚的支持下，我们将会对以色列面临的危险做出明确的反应！
沙龙在就职仪式完成后，呼吁全国各政治派别和社会阶层实现民族和解与团结，打击恐怖和暴力活动，实现安全与稳定。
沙龙认为安全是他“最优先考虑的事情”，他主张扩展以色列边界，以便“在未来阿以力量对比发生不利于以色列的变化的时候，能够依仗足够的战略纵深，有效地保卫以色列的安全”。
因此，沙龙主张在以色列北部加利利和南部内格夫地区建设新城镇，以“避免居民集中在中部地区，因为一旦战争爆发，该地区容易受到攻击”。
沙龙主张修建贯穿以色列南北的高速公路，“保证战时道路畅通”；主张保留约旦河西岸60％的领土，沿约旦河谷设立一个15-20公里宽的“安全带”，从而把以色列可能受到的威胁“降低到最低限度”。