但是，渐渐地，于右任与冯部有了芥蒂。蒋介石“四·一二”反革命政变后，由于汪精卫仍与共产党合作，而于右任在陕西处境困难，遂于6月13日来到武汉。然而，随后的一个多月，于右任经历了太多事情，宁汉合流，分共清党，都使这位忠实地执行孙中山三大政策的信徒大惑不解。由于诸事不惬，于右任到苏州和常熟去游历一番。
1928年3月，国民党召开三大之前，内定于右任为主席团成员，然而，于右任提出的“中委”备选名单被陈果夫等人全盘否定，于右任对此感到十分愤怒，遂考虑自己的去留问题，在大会结束前动身去了上海。这一年，于右任被任命为审计院院长，主管财物审核。
1931年2月2日，于右任出任国民政府监察院院长。就任后，其主要工作是遴选监察委员、划分各个监察区、制定监察制度，以及清理监察积案等。
1931年5月12日，国民会议通过了《中华民国训政时期约法》，这期间也提出了修改国民政府“组织法”。于右任和全体监察委员在修改时提出：监察院应拥有惩戒官吏的权力，这样可以使弹劾起到“坐言起行”的效果。但是这一修改意见并未得到通过，因而监察权和惩戒权一直隶属不同的系统。这造成那些违法、失职官员的后台可以在背后操纵、庇护他们，使他们逍遥法外。
1933年，铁道部部长顾孟余在向外国采购铁道器材时，有丧失主权、贪污舞弊的行为。监察院查明情况后于6月提出弹劾，并将此案交送国民政府，公布于众，这引起了行政院长汪精卫的强烈不满。汪精卫等人提出补充办法以限制监察院职权，于右任一怒之下拂袖而去，回到了陕西家乡。7月16日，监察院全体委员为了表示与于右任同进退，宣布全体辞职。在这种情况下，中央政治委员会没有通过汪精卫的修改补充办法，但是顾孟余也并未受到惩戒。对此，于右任发出了“为民鸣不平之难矣”的感叹。于右任担任监察院院长一职历时30年，是国民党政府五院院长中任职最长的一人。
“九·一八”事变后，于右任认为“党内之精诚团结与国人共赴时艰，实为解救国难之唯一要义，抑亦度过国难之唯一途径”，强烈主张抗日。
1936年，国民党在内外交困的情况下，向人民许愿很快就要实行“宪政”，于右任对此颇不以为然。他曾经在中央党部的大会上说：“想教国民进入宪政，当然要政府先入宪政，想教政府入宪政，当然党人先入宪政。”
1937年初，国民党召开五届三中全会之前，中共为了尽快促成国共两党合作，共同抗日，向国民党提出了“停止武装推翻国民政府、改变工农政府和红军名称、在根据地实行普选、停止没收地主土地”的“四项保证”。对于这一消息，国民党方面严密封锁，甚至许多国民党上层人士也未可知。杨虎城设法让马文彦（于右任去苏联时的翻译）通过于右任把这“四项保证”的声明在南京传播出去。
马文彦到南京后，把这份“声明”交给了于右任，他看后觉得非常好，于是想了个办法。他在这份“声明”背后刷了些糨糊，贴在地上让它粘上土屑，然后再揭起来晾干。接着请了一些国民党元老到于公馆，并称这是一个陕西商人路过某地看见它贴在墙上遂揭下来送给他的。这些元老们看过觉得很好，应该让大家都知道。第二天正是国民党中央党部按照惯例举行“总理纪念周”活动的日子，以反共著称的西山会议派代表张继自告奋勇地在大会上宣读了这份声明。这样，关于“四项保证”的声明很快就在南京传开了。
抗日战争时期，于右任还兼任国防最高委员会常务委员，主张联苏，同情民主。1945年5月，在国民党第六次全国代表大会上，于右任当选为国民党中央执行委员会委员和常务委员。抗战胜利后，随国民党政府迁回南京。
解放战争时期，于右任继续担任国民政府监察院院长。1948年3月，蒋介石召开了第一届国民大会，选举总统和副总统。由于国民党中无人敢与蒋介石平起平坐进行竞选。最后只好由蒋介石“钦定”司法院院长居正“作陪”，而参加副总统竞选的则有6位，于右任便是其中之一。选举结果是于右任获493票，居第四，因而落选，李宗仁顺利地当上了副总统。
国民党政权摇摇欲坠时，于右任在1949年3月26日曾提出辞去监察院院长职务，但因为他无法摆脱正统观念的束缚，在关键时刻没能跨出决定性的一步，最后在众人的挽留下继续担任监察院院长。1949年4月，在共产党夺取全国政权已成定局时，于右任离开南京，不久飞往台北，继续主持国民政府监察院的工作。
夕阳晚景
于右任其实是不愿意离开大陆的。就在蒋介石派人迫令他离开南京的前一星期，正当国共和谈在北平达成和平协议之际，时任南京国民政府代总统李宗仁曾拟派于右任作为特使去北平代表南京方面协助谈判。当时于右任连行李都准备好了，打算一去而不复返。只是由于参加和谈的国民党首席代表张治中电告李宗仁“请于暂缓去平”，待南京政府正式批准和谈协定后，再请于赴北平主持签字。这一耽搁，于右任准备长期留在大陆的心愿，便永远不能实现了。
于右任身居台湾，心向大陆，无时无刻不在思念大陆的亲人，甚至做梦都在惦念着他们。他经常突然从梦中惊醒，久久不能入睡。在漫长的岁月中，于右任有感而发地写下了不少有关思念大陆亲人的诗篇。在《有梦》等诗中发出了“夜夜梦中原，白首频泪滴”等发自肺腑的心声，读之使人怆然涕下。1956年，他还在《鸡鸣曲》一诗中痛苦地问道：“福州鸡鸣，基隆可听。伊人隔岸，如何不应？”同年，他辗转托人给仲林母女汇寄台币600元，以表达对大陆亲人的怀念之情。
一天，正当于右任愁眉不展，在书房里踱来踱去，惦念着高夫人能否收到自己第一次寄去的一片心意时，突然接到香港友人从大陆捎来的一个包裹。他忙打开一看，内有一封来信及他平日最喜欢穿的布鞋布袜，不禁老泪横流，他手捧布鞋布袜，慢慢走到窗前，面朝大陆，久久地沉浸在深深的回想之中。
1961年3月，高仲林80大寿，周恩来让屈武以女婿的名义专程去西安祝寿。事后，又将祝寿照片辗转带给于右任。于右任激动不已，托人带信向周恩来表示了诚挚的谢意。他在晚年写了不少怀念家乡和大陆的诗，透露出他对祖国统一的渴望之情。于右任在逝世前曾作一首《望大陆》：葬我于高山之上兮，望我大陆；
大陆不可见兮，只有痛哭！
葬我于高山之上兮，望我故乡；
故乡不可见兮，永不能忘！
天苍苍，野茫茫；
山之上，国有殇！
1962年，于右任身体不适，自感去世之日临近，心情变得很郁闷，但他并没有因此沉沦，依然坚持努力为社会服务。于右任在日记中表明自己的心迹：“我是儒家系统中人，守之不变者，万勿中途迷离，为世所笑。”这是他的人生信念。
一生高官的于右任始终注重名节，两袖清风。当他晚年病重时，他常想到的竟是“没钱住院”。1963年4月18日，于右任喉咙发炎，住进台北荣民医院。刚过三天，于右任便在日记中写道：“今日早起，疾已轻，有归去之意。开支甚大，如何能继。”5月初，于右任在疾病没有完全治愈之时便出院，病情因此再次发作。他本应该马上住院，但因为住院费用的缘故，他将此事一拖再拖。
在此期间，于右任仍参加社会活动。6月26日，由于喉部感染，于右任不得不再次住院治疗，但因经费紧张，很快出院。等病情好转一些，他又积极参加社会活动，并写下了气势恢弘的长篇行草书《文信国正气歌》七屏，成为其最后之大作。
1964年7月底，于右任再次病重，咽喉发炎，说话进食都很困难。众人劝于右任：“身体不好，还是进荣民医院治疗吧。”于右任不愿向在场众人哭穷，只是点头应承。再次住院没几天，于右任又因经费问题而担心，对副官方伯熏说：“我很穷，没有钱，我住的这间病房多少钱一天？太贵了我是付不起的，我还是出院回家吧。”方伯熏看着病情严重的于右任，有意隐瞒实情，将每日高达千元的住院医疗费说成只有一百元。如此一来，于右任安心地住院了，因为以他月薪5000元新台币的收入，是可以付得起这些费用的。然而，他的病已经治不好了。
在生命到达终点前，于右任数次想写遗嘱，但写了撕，撕了又写，后来病情恶化，终致无法再写。他的长子于望德为寻找父亲的遗嘱，特请来监察院副院长、监察委员等数人作证，打开于右任最为珍贵的保险箱。开箱以后，大家被眼前的物件所感动。箱子里没有一点金银积蓄，所能见到的是一枝钢笔、数方印章与几本日记。还有结发妻子高仲林早年亲手为他缝制的布鞋布袜。再有，便是他的三儿子于中令5月赴美留学时向银行借贷的4万元账本以及平日借副官宋子才的数万元的账单。
1964年11月10日，于右任在台北病逝。于右任逝世后，遗体在“荣民总医院”太平间的冰柜里停放了一周。17日上午9时，在台北市殡仪馆开始公祭，当天收到的挽联挽幛4000余件，花圈300余只，花篮1500余个，唁电150余封，各界人士前往吊唁和瞻仰遗容3万余人。