战争的炮火并未使1973年12月的大选半路夭折。然而竞选结果却令沙龙大失所望，利库德仅获得了国会120席位中的38席，而工党得票超过60席。
1975年6月，沙龙被任命为拉宾总理的特别顾问。
沙龙担任总理顾问仅8个月便辞职了，因为他看到个人没有升职的机会，拉宾不愿意为了使沙龙在军队中得到一个高级职位而得罪佩雷斯和古尔。沙龙也意识到自己在总理府只是个牌位，没有任何权力和影响，后来甚至连拉宾都没办法让沙龙参加重要的安全会议。终于，沙龙发现自己在拉宾的顾问圈子中已被排挤到了次要的地位，于是，他决定辞职。
1977年是以色列的又一个大选之年。随着选举期的即将到来，沙龙决定重返政坛，以证明自己出众的组织能力和在以色列民众中的影响力。这时，在以色列统治29年的工党已威信下降，民众的支持率很低，可以说是反对党出人头地的大好时机。
这确是一个大好机会，沙龙决定暂时告别温馨的家，跻身政界一展身手。开始他想重新进入利库德集团，但由于他同自由党领袖埃里利奇的关系相当冷淡，随即取消了这个想法。很久以来，沙龙一直希望按照自己的意愿组织党派，他感觉时机已经成熟。通过一悉深思熟虑，他决定单独创建一个新的政党，依靠自己的影响力去迎接大选。
他为自己的新政党取名为“什洛姆兹昂”，意为“犹太和平”。为了开展活动，沙龙在特拉维夫租了一间办公室。第一批12名成员组成了党的骨干力量。他们充满信心，因为早期的投票表明，该党将能够在大选中获取国会中18个以上的席位。
但很快，另外一个政党也宣告成立，这就是“达什”，意为“民主运动”。其领导人是伊吉尔·亚丁，是一位著名的考古学家，曾任以色列国防军总参谋长。“达什”的成立对沙龙是一个严重的威胁，使原来期望加入“什洛姆兹昂”的富人和各界名人纷纷投到了“达什”。这样，极大地减少了沙龙的“犹太和平”党的支持。
沙龙开始考虑将“什洛姆兹昂”并入利库德集团的可能性。由于他过去不顾挽留执意离开利库德集团，从而使他和一些领导人的关系变得很僵。唯一欣赏他的利库德集团的首脑贝京此时因心脏病复发正呆在医院之中，主持集团事务的是沙米尔和埃里利奇。沙龙来到医院，向贝京谈了自己的打算。贝京立即表示赞同，但他需同沙米尔等人商谈后才能答复他。
在贝京的安排下，沙龙同沙米尔就“什洛姆兹昂”并入利库德集团之事进行了会谈。沙米尔对沙龙抱有成见，若不是贝京极力促成，他是不愿会见沙龙的。因为利库德集团已稳操胜券，并不在乎沙龙将带来的那部分选票。
这次会谈在乔治王饭店举行，气氛显得很不热烈。待沙龙陈述完自己的设想之后，沙米尔表示自己不能做主，要待同他人商议后再作决定。
在这种情况下，沙龙决定率领他的党单独作最后一搏。选举前两天，报纸在头版报道了利库德集团必胜无疑的消息，并提到贝京政府国防部长的两个候选人将是魏茨曼和沙龙。他们之所以将沙龙抬出来，是向选民们表明：如若你想让沙龙担任国防部长，那就请投利库德集团的票。
沙龙的“什洛姆兹昂”党像预料的那样仅获得了2个席位。只有沙龙带过的一些忠实的老战士们投了他的赞成票。虽然这样，沙龙并不感到痛苦，相反为利库德集团胜利而高兴。不管怎么说这一政党团体是4年前在他的积极斡旋下才最终成立的。
沙龙打电话向贝京表示祝贺，同时又重提将他的党纳入利库德集团的愿望，由于大选已过，事情变得简单多了。结果，沙龙的党被贝京领导的赫鲁特党吸收，同时贝京邀请沙龙加入他的核心团体。
沙龙告诉贝京，他除国防部长外最愿意担任的职务是农业部长和负责定居点问题的内阁委员会主席。贝京一听非常高兴，立即点头答应。
7月15日贝京主持了他的内阁宣誓仪式。沙龙宣誓道：“我，阿里埃勒·沙龙，沙寥尔和维拉的儿子，郑重誓言，作为一位政府成员，我将忠诚于以色列国，遵守宪法……”
自独立战争时起一直在军队服役的沙龙，突然间担任起农业部长之职，许多人对他是否能胜任感到担心。但是不久人们发现，他驾驭新职务的能力像驾驭军队一样驾轻就熟。这一方面是因为他对农业部长之职的偏爱，另一方面也由于他是农民的孩子，且他的父亲本来就是一位优秀的农业技术员。
在他任职期间，以色列的整个农业产值增长了15%,农作物产量增加21%。此外，由于沙龙在任职期间致力于以色列的农业出口，致使以色列的出口额以每年16.5％的速度增长。出口总额从1977年的3.59亿美元，上升到1981年的5.76亿美元。
除了农业本身的各种工作之外，沙龙投入精力最大的另一项工作就是建设犹太人定居点。在这一问题上，身兼内阁新定居点委员会主席的沙龙，在狂热的爱国主义和民族主义思想的感召下，顶着层层压力，进行了不懈的努力。在被任命为农业部长14天之后，他公布了他的总计划，即在整个西岸地区建立新的犹太定居点的“沙龙计划”，目的是将约旦西岸的被占领土永久并入以色列国土。这个计划设想穿过西岸地区建立一个新的人口走廊，该走廊以城市为中心，四周为卫星城镇。倘若该计划成功，将会排除分离的可能性，因为不管界线再如何巧妙划分，使犹太定居点与当地阿拉伯人相脱离是根本无法实现的。另外，在耶路撒冷四周再建立一圈中心城镇，以防该城受到当地人的威胁。为了实施这一计划，沙龙努力尽可能多地建立新定居点。尽管这些新定居点内只居住着一小部分人，但他把这些定居点看作是它们未来发展的核心。由于他掌握着被占领土地上新定居点这个敏感问题，从而给他提供了左右政府各方面政策的实际力量。
扩大在约旦河西岸和西奈地区北部的犹太定居点是利库德集团纲领中的重要内容。但贝京政府上台后由于致力于同埃及之间的和平谈判，故将这一计划悬诸一边。这使身为内阁定居点委员会主席和拥有强烈民族情结的沙龙非常不满，他曾多次敦促政府详细讨论这个问题，但都没有得到重视。虽然利库德集团不能否定自己的纲领，但同时它也要考虑全力实行这种政策所付出的外交上的代价。
埃以谈判是一场马拉松式的消耗战，在历经长达9个月的僵持之后，终于于1978年9月15日在美国的戴维营取得了突破性的进展。沙龙虽然在定居点的建设上持强硬立场，但却在和平协议的最终达成方面起到了决定性的作用。
除领导农业部和负责新定居点的建设之外，沙龙还尽可能地用自己的能力去染指以色列的国防政策。他积极参与了1981年以色列空军袭击伊拉克核反应堆的行动，并成为促成这项行动的重要人物。当时国防部长魏茨曼因车祸受伤离职，由贝京兼任该职务，这就给沙龙直接影响国防政策提供了前提。作为一名狂热的爱国主义者，沙龙不允许在周围的阿拉伯国家中存在对以色列生存威胁的因素。
因此，沙龙极力主张摧毁伊拉克正在建造中的核反应堆。他将这一想法告诉了贝京，但贝京最初并不赞成，认为发动袭击很可能会导致一场新的战争，而且会使以色列返回国际大家庭的努力功亏一篑。此外，贝京认为伊拉克人正在建造的核反应堆并不具备制造核武器的能力，不必为此十分担心。
但是到1980年初，形势发生了根本变化，根据以色列得到的情报，伊拉克人修建奥希拉克反应堆速度大大加快，而关于法国向伊拉克提供武器级铀一事也成了公开的秘密。此外，伊拉克人还从尼日尔和葡萄牙取道法国得到了大量的原铀，同时又从意大利获取了制作和控制铀燃料的高技术。这一切都表明伊拉克正迈上拥有核武器的道路。
在这种情况下，沙龙再次向内阁提出了摧毁伊拉克核反应堆的必要性和可能性。最后，沙龙向全体内阁成员道：“必须通过可行的手段进行一次军事行动，以确保伊拉克核反应堆的彻底毁灭。”
随后，以色列政府开始着手制定袭击伊拉克核反应堆的行动计划。最后确定行动时间为1981年6月初。之所以将作战行动推延到这个时间，是因为1981年的6月是一个十分关键的月份。首先是以色列大选，贝京把这次行动看成是利库德集团再次赢得大选胜利的“杀手锏”。如果行动成功，无疑将对6月30日的大选产生决定性的影响。其次是埃以和谈已告完成，以色列西部威胁将解除，不再有后顾之忧。此外，根据“摩萨德”获取的情报，伊拉克的核反应堆将在6月份进入关键时刻，在这个时候将其摧毁，更能达到预期的效果。
6月7日是星期日，工作在伊拉克核反应堆中的外国专家和技术人员将在这天离开工地休假。这是以色列政府仔细研究选定的日子，目的就是避免造成在伊拉克工作的外国人伤亡，从而引起国际性抗议。
7月凌晨4时整，12架F—15和F—16战机从以色列埃特兹昂空军基地起飞，半小时后飞抵伊拉克边境。在这一时间里，12架飞机采取超近间距飞行，这样即使被雷达发现，也会误认其为民航客机，不会引起对方警惕。这是一种超高难度的飞行，要求驾驶员具有很高的素质。因为飞机的前后左右间距仅几米，一不小心就会机毁人亡。为了执行这次特殊任务，以色列空军行动小组早在几个月前就开始了特种训练，以确保顺利地完成轰炸任务。
与此同时，以色列政府内阁成员都聚集在贝京的官邸，静静地饮茶以待，心中却充满担心与不安，尤其是贝京，一会儿来回踱步，一会儿又凭窗远眺。
晨5时30分，电话铃声骤然响起，贝京立即上前拿起话筒，总参谋长艾坦兴奋的语调传来：“总理，行动结束，目标已摧毁，所有飞机安全返回。”
贝京顿时欣喜若狂道：“太好了，太好了，请代我向他们祝贺！
一直沉默无语的内阁成员马上活跃起来。贝京命人拿来香槟酒，大家举杯庆贺，不仅仅庆祝袭击伊拉克核反应堆成功，而且还提前庆祝不久后的大选中确定无疑的胜利。
众人在贝京处用过早膳后陆续离开后，沙龙又呆了一会儿，当他告别时，贝京用手拍着他的肩膀道：“沙龙，若不是你坚决要求采取行动，我真不知道会不会有今天。这下好啦，我确信我们将会在大选中再次获胜。”