1977年3月，拉宾刚从美国访问回来，以色列《国土报》的一名记者发表了一条爆炸性的消息：拉宾在美国一家银行中拥有外汇存款！这是一条可怕的新闻。当时以色列法律规定，任何公民在国外拥有的存款都是非法的，这是因为：一、以色列外汇短缺，公民们出于爱国心应把自己的外汇存在国内银行支援建设，二、这是一种防止私营业主和腐败官员把他们的非法所得转移到国外的措施；三、一心为公的道德观念和行为准则是来自俄罗斯和东欧移民所信奉的。为此，整个社会闹得沸反盈天，人们认为自己被总理骗了，总理要求人们干的事自己却首先违犯了，他们无不感到梦幻破灭般的痛苦。因此，人们的愤怒难以平息。《国土报》把这事像美国新闻界对付尼克松的“水门事件”一样，不仅详细报道了拉宾在那家美国银行中的存款数和账户号码，而且调集了最能干的笔杆子慢慢煎熬拉宾，报纸上常见的醒目大标题是“拉宾—利扬银行账户”。在该报发表的大量尖酸刻薄的报道中，不厌其烦地证明拉宾是一个十足的伪君子。在多次社论中指出：在以色列处于与邻国交战状态的危难时刻，拉宾先生注重的是谋取他个人的私利。这样的引导，无疑给拉宾夫妇带来了灾难性的后果。
拉宾早已被一个个的攻击搞懵了，不知如何反击，就连解释也很含糊，先是予以否定，当《国土报》公布了账号和存款数以后，他又说是当大使时夫人利扬省下来的生活费用。但这个解释立即成为反对党和新闻界的辫子，他们声称拉宾在存款问题上对全国人民撒谎，先说没有后来才承认。事情越闹越大，把工党联盟搞得丧尽人心。拉宾考虑到辞去党的领导职务，但他接受了不管部长加利利的意见：等等看！
总检察长巴拉克是个两面派人物，他为了把审查权控制在自己手里，他一方面安慰拉宾，另一方面他又夺了财政部长拉宾诺维奇的调委会审查权。看到自己落在这样一个两面派手里，拉宾明白自己不会有什么好结果。
果然，当调查委员会的审理结论出来时，确认了拉宾与利扬违反了政府的有关规定，决定对他们两人进行罚款处分。但巴拉克要给拉宾以厉害，他提出一个新的决定：如果财政部长同意审查结论的话，此后在法庭上他不能出庭为拉宾夫妇进行辩护。司法部长立即表态认可，使得财政部长也只得认可。继而，巴拉克决定只对拉宾进行一次“象征性”的罚款，而利扬则必须接受法院审判。表面上是给拉宾以面子，实际上是巴拉克更阴险毒辣的一招，他要让前总理大人眼睁睁地看着自己夫人出庭受审而无可奈何。这是拉宾无法容忍的侮辱，他决定向社会公开自己的收支账目，在几位好友劝住以后，他在茕茕孑立的情况下，作出了三条决定：一、立即撤回自己总理候选人的提名；二、誓与利扬共同承担外汇存款一事的责任；三、立即辞去看守政府总理职务。
在利扬受审的日子，拉宾坚持要出庭陪伴妻子，起码给她一点精神上的支持，因为利扬在接到受审通知后，精神快垮了。尽管好友纷纷劝他：“别固执了，伊扎克，你千万不能出庭。那样，审判就会变成一出尽力羞辱你的大闹剧。”拉宾仍气愤地说：“不！我不能撒手不管她！我要看看他们能拿我怎么样！”“听我说，伊扎克，”利扬也劝阻他，看着他的眼睛平静地说：“相信我，我受得了，你不要陪我去。想想看，我们经历的风浪还少吗？”最后，还是利扬劝住了他。
审判的最后结果是：利扬须付一笔25万以色列镑的罚款，按当时的汇率折合为24000美元。为了摆脱这种痛苦的纠缠和不幸的遭遇，拉宾夫妇什么也不说，接受了法院的判决。
4 虎落平川志在高山
存款风波过去后，拉宾夫妇过上了平静的日子。但是，他们对于国家的忠诚与贡献，以色列人们是没有忘记的，常常使拉宾激动。
利扬被重罚以后，数以千计的人们给他们打电话来信表示支持，不少人还寄来支票帮助他们，有的甚至愿意替利扬坐牢来拒付那笔罚款。利扬整日感动着，坐在房间回信和返寄支票。最使拉宾感动的是一位老人对他说的话：“听着，孩子，把头抬起来。我的儿子就埋在这里，他比你小不了几岁，作为一位阵亡者的父亲，我想告诉你一句话，我要说的是，在这块神圣的土地上，你是问心无愧的，这才是最重要的。”当他在法海纪念烈士集会讲话时，一位烈士的母亲对他说：“伊扎克先生，你一来我就认出你是谁了，我们为你而感到骄傲！好好干吧，我们不会忘记你的！”千秋功过，人们给予了公正的评说。
当5月17日大选投票的第一批结果出来时，工党联盟为自己的窝里斗而不顾大局的行为付出了惨重的代价，历史上第一次用选票把工党政权赶下了台，利库德集团领袖梅纳赫姆·贝京当选了新的政府总理。6月21日，拉宾与贝京在总理府会晤，在简短的仪式后，他把权力移交给贝京，随后互致敬意。
自此，拉宾被从总理宝座上拉了下来。但是，他仍然不愿离开政坛，除了还是反对党的工党议员以外，更是在密切注视着政局变化。就是他与妻子坐在宽大的壁炉旁，享受着芳香的咖啡，轻声细语交谈往事时，也不忘总结一下自己所走过道路的得失。平时，他就看书写回忆录，有时就参加一些讲演，思考一些问题。这样，他的视野反而更开阔，看问题也更清楚。
按中国话来说，拉宾好比“虎落平川，志在高山”。在相隔十几年以后，功夫不负有心人，命运之神又安排了他另一次崛起的机会，使他东山再起，重新登上了总理的宝座。
5 逐步恶化的巴以关系
自美国总统尼克松下台以后，国际关系也出现了错综复杂的局面，杰拉尔德·福特这位临时总统，有着他的不稳定性，严重地破坏了基辛格在外交上作出的努力。只有萨达特没有泄气，他一方面努力改变现实，另一方面也在等待机会。当1977年1月吉米·卡特出任美国总统之后，萨达特决定同这位佐治亚人建立密切的关系。从一开始他就留给卡特这样的印象：他期待同以色列和平共处，而和平的内容应包括以色列人从被占领的阿拉伯领土上撤出，解决巴勒斯坦问题以及完全承认以色列。萨达特还清楚地表明，他理解以色列对安全的需要，因而任何一项和平协议都应包括以色列的安全保证内容。
萨达特与卡特关系确实密切起来，俩人书信往来频繁，都笃信宗教，都来自下层，相互尊重和信赖，其相互影响也是很深的。
萨达特在卡特的影响下，致力于中东和平。1977年11月19日，他访问以色列，因此打破了中东和平僵局，令世界震惊，更令阿拉伯世界震惊。在迎接萨达特的以色列政治领袖队伍中，拉宾也以其特殊身份参加，他是为萨达特访以而感到自豪的人之一。因为，他曾为这一天的到来付出过不少心血。
然而，萨达特的和平之举，同样受到来自以色列和阿拉伯世界反对势力的威胁。萨达特曾在一个沙漠中粉碎过一支企图暗杀他的阴谋，但他最后还是为和平付出了生命的代价，他倒在和平的曙光出现之前；为此，世界一切爱好和平的人们曾为他致哀。拉宾真正认清萨达特，是在萨达特访以以后，他曾在日记中写道：“一位曾和以色列兵戎相见的阿拉伯领导人站了出来声称他理解我们对安全的需要，因而必须找出办法满足我们的合法权益，仅仅这一事实就足以看作是一场地地道道的革命。”可这时，拉宾已不在台上，但他对于萨达特后来的死，表示了沉痛的哀悼和怀念，他在回忆录中说：“一颗和平的太阳陨落以后，人们将在黑暗中怀念他。”
当拉宾下台以后，一个曾被他和达扬重用过却有着野马一样个性、极端仇视阿拉伯世界的以色列将军，再次被以色列军方和当局重用，他以“冷血动物”的暴行来对待巴勒斯坦人，企图以他挥舞的大棒来征服其他民族，这人便是沙龙。他对巴勒斯坦人的暴行，不但没有征服反而更加激起了巴勒斯坦人以及世界爱好和平的人们，包括以色列人们的反对。反抗的烈火越扑越旺，以色列国内反对他及当局的呼声也越来越高，以色列在国际上也越来越孤立，巴以关系到了有史以来极为恶化的地步。
时局发展到1982年6月，当时沙龙正指挥以色列大军围攻贝鲁特西区，准备把那里的巴解总部来个一窝端。自然，这一行动受到了来自孤立无援的阿拉法特的巴解战士的顽强抵抗。后来便导致了手无寸铁的巴勒斯坦平民死亡2000多人的“贝鲁特大屠杀”。当新闻记者左德曼把这极其悲惨残忍的一幕向世界报道以后，这场骇人听闻的大屠杀的消息，便立刻像闪电一样传遍了整个世界。以色列的老百姓全被惊呆了。几十年来他们在电视中看到的这种在奥斯威辛集中营发生的种族灭绝的场面，竟重演在以军占领的贝鲁特。他们勒紧裤带供养的士兵竟然跑到黎巴嫩去杀人放火，而且杀的净是些妇女和孩子。因此，沙龙成了众矢之的，以色列爆发了前所未有的反政府大示威，参加者35万人，占以色列当时人口的十分之一。沙龙的住宅前面，是一片“耻辱”和“要和平”的口号声。
后来在1987年底到1992年中，以军仍然杀死了1775名扔石头表示反抗的巴勒斯坦人，数千人被打伤或致残。没有人认为以色列有必要这么做，不管它的敌人还是它的朋友，就连美国人的抗议声也越来越刺耳，一直支持以色列的美国犹太人社团领导人也主动与巴解组织会晤了。以色列领导人感到了阵阵孤立的寒意。1991年7月初，美国总统布什亲自出面向沙米尔施加压力，要他放弃僵硬立场参加马德里中东和会。他于7月1日对记者说：“我想有许多人不知道中东到底发生了什么事情。”说到这里布什把话头压住了，他想给以色列政府留点面子。沙米尔自然知道这句话后面的含意，如果以色列再不顺从，美国就会把老底揭出来，告诉全世界242号决议就是要求以色列撤出侵占的领土。这样，沙米尔政府终于屈服，同意参加中东和会。
此后以色列国内的局势，为拉宾的东山再起提供了机会。当年，人们推举利库德集团，只是出于一种对工党执政20余年的厌倦，借此换换口味而已。而现在，人们早已不喜欢利库德集团的口味，尤其是它在政治、经济、外交上的毫无建树，造成了内外交困的境地。