1937年，日本在蓄谋多年之后，终于按捺不住狼子野心，开始全面入侵中国，抗日战争就此爆发。
战争开始之后，于右任先生创办了《民族诗坛》，以诗歌的形式宣传抗日，并亲赴各省，鼓动抗日热情。1937年底，蒋介石邀请于右任去其住处，向其询问对于抗战的意见，他斩钉截铁地说：“抗战到底者，就是能打要打，不能打也要打！只有打，才能胜利，也必能胜利！”无心抗战的蒋介石听罢，只得故作严肃的说：“我了解于先生的意思了！”
次年，于右任组织监察委员赴战地视察，在炮火纷飞、危险丛生的战场之上，他以身作则，不顾安危，坚持要到前线去慰问士兵。
汪精卫叛国后，于右任非常愤怒，在国民党中央电台先后作了《以胜利击破汪倭毒谋》和《以民族正气扑灭汪逆》的广播演讲，痛斥汪的汉奸行径。
由于对国民党政府在抗战中所表现出的软弱和无能非常不满，1941年，于右任以回家“寻根”为名，前往甘肃，远离国民政府。
到甘肃后，于右任对当地人说：“我的母亲是甘肃静宁县人，我来访外祖家……”
于右任到甘肃的第二天，举行了一次乡老座谈会。座谈会上，于右任对相亲们说：“我母亲是静宁赵氏，但不知是哪一家哪一户，我不满两岁母亲就因病去世了，先母托付恩伯母房氏抚养我成人。只记得伯母说，陕乱平后，外祖由甘肃静宁县逃荒而来，手拉我母，背负我舅，行至彬州、长武县之间，力竭食尽，又因我母足痛不能行，恐怕连累大家饿死，不得已弃之山谷中。行数十里，一骆驼商人见而怜之，载以行，赶上外祖，赠资而还其女。这是我永远不能忘的……”
提及往昔遭遇，于右任数度哽咽，听者无不泪下。
甘肃书生们知道于右任是书法大家，都想一睹其泼墨的风采。于右任不顾身边人的劝阻，一连伏案两日，为乡亲父老留下了数百幅珍贵的书法作品。于右任视察静宁期间，见街头有不少流浪儿童，便创办了一所专门收容这些儿童的小学，起名为“渭阳小学”，并嘱咐当地官员要加强教育投资，关心贫苦人家的小孩。
1945年，抗日战争结束，毛泽东应蒋介石的邀请，来到重庆谈判。当时正在重庆的于右任在自己的官邸设午宴款待毛泽东。席间，于右任与毛泽东讨论时局，漫谈诗文。于右任认为，毛泽东词作《沁园春·雪》中“数风流人物，还看今朝”这一句，气势非凡，催人奋进。他还明确向毛泽东表示，自己反对内战，赞成和平，希望国共两党能继续合作。
然而，于右任希望的和平终究还是没能到来，在抗日结束后，国民党悍然发动内战。于右任失望之极，写下了《第二次世界大战回忆歌》，以表达自己企盼和平的心情，文中写道：“群众无声胜有声，杜诗重读不胜情。太平老人磨铁砚，垂老还期致太平！”
到了1948年春，于右任在南京出席了第一届“行宪国民大会”，与孙科、李宗仁、程潜、莫德惠、徐傅霖六人竞选副总统，结果落选，仍任监察院院长。
此时的于右任仍希望能通过和谈解决内战。1949年2月15日，颜惠庆、章士钊、江庸、邵力子等人来到北京，与中共领导人协商和谈事宜。2月27日，颜、章等人返回南京时，于右任亲往机场迎接。
同年4月，国共和谈在北京举行。李宗仁原本想派于右任到北京去，他本人也很愿意前往，并做好了动身的准备。但国民党的和谈首席代表张治中认为，于右任留在南京有利于促使南京政府批准和谈协定。因此于右任未能成行。
周恩来得知于右任不能到北京，非常失望，并对他的处境十分担忧。周恩来托于右任的女婿屈武转告于右任说：“如果南京政府拒绝批准这个《国内和平协定》，我们渡江占领南京时，希望于先生在南京不要动，到时候我们会派飞机接他来北平，将来同张澜、李济深和沈钧儒先生一道，组织新政协，我们一同合作。”
听了屈武传来的口信，于右任顿足道：“是文白先生害了我，他不应该阻止我去北平！”因张治中字文白，于右任才有此言。后来，他又说：“还是周先生考虑得周全，但这恐怕办不到了，我的周围布满了特务，他们能让我留下来吗？”
果如周恩来所担心的那样，4月20日，人民解放军发起渡江战役，并一举攻克南京。于右任本想留在南京，但是却被国民党特务“护送”到上海。
人民解放军一路高歌猛进，国民党军队节节败逃，蒋介石便开始筹划逃往台湾。1949年4月21日晨，于右任被胁迫转移至上海，后辗转到重庆。11月29日抵达台湾。
有人怀疑于右任去台湾不是被迫，而属自愿，这种怀疑是站不住脚的。首先，如果于右任真是自愿去台湾，应该很早以前就开始安排家属了，按照当时国民党的纪律，高层直系亲属是一定要跟着一起去台湾的，但他明显没有这么做，原配夫人高仲林、长女于芝秀等亲属仍留在大陆，一家人自此无缘相见。
其次，在1961年的时候，于右任还曾经通过章士钊联系周恩来，嘱托周恩来照顾妻小和给妻子做生日。当时周恩来派屈武以女婿的名义为于夫人办了80大寿。事实上，于右任与毛泽东、周恩来等中共高层在很久之前就建立起了良好的关系。中国第一代女外交家康岱沙在回忆录中就曾经这样说：
父亲交游甚广，社会关系也很复杂。于右任、邵力子等国民党元老常年住在我家，周恩来同志间或到我家去探望于先生和邵先生……抗战期间，于右任长期在我家居住，有一天他突然离开我们重庆的家，迁居成都，住在一个陕西同乡家里。后来我才知道，在上世纪40年代初，监察院揭发出了一件很大的贪污案，被弹劾的人涉及蒋介石身边的要员。于先生坚持执行监察权力进行弹劾，而蒋介石执意庇护。于是于先生愤而辞职，离开重庆迁居成都。周副主席得知这个消息后，马上嘱咐于的女婿屈武代表他前去慰问，并要屈武去成都陪伴和照顾老人的生活，帮助老人解除一些心理上的苦闷。周副主席嘱咐屈武对于先生说，他的这一举动大得人心，请于老先生不要悲观。
由这些史实可知，于右任于共产党人始终交好，没有理由自愿抛弃故土，远赴他乡。
于右任去了台湾之后就再也没有机会回到大陆了，暮年孤独无依，日夜思念大陆亲人，抑郁苦闷，无以释怀。