吴佩孚图谋东山再起之心不死。在白帝城他表面上喝酒赋诗，哀叹自己的失败，并不得不发出通电，声明今后“政治於否均非我知。”暗地里却另有打算，整日与亲信幕僚密议国内形势，策划于密室，并拟出一个东山再起的“计划”。不久，他在白帝城打出“孚威上将军”的旗号，搭起了“大帅行辕”的架子。这时，吴佩孚加紧勾结四川有旧交的军阀，向他们索取金钱和物质方面的馈赠，还不断派人出省，暗中联络原部下将领。在多方游说和四处拉拢下，他的残兵败将相继尾随而来，结果，竟先后收容了二千多人。流亡的靳云鹗派遣亲信前来，表示自己带领的三万人民愿听从吴的调遣，在北方统治已摇摇欲坠的张作霖，也命张作相代为转告：“公能督率川军，早日出征，则得之也。”表示了愿与吴佩孚再度合作，共挽危局的愿望。吴佩孚入川托庇杨森意欲再起的野心，势必引起蒋介石的南京国民党政府的反对。汪精卫“七·一五”反革命政变后，由于国民党政府各政治集团的争权夺利，蒋、汪之间尚未合流，双方正各自加紧抢夺地盘，扩大势力。此时，四川各派军阀虽然名义上都已投靠南京国民党政府，但是实际上仍各自为政，独霸一方。蒋介石早已垂涎“天府之国”，只是力量有限，一时不能控制，现在吴佩孚人川，更使他担心四川因此而“独立”。于是蒋介石施用各种手段，来驱逐吴佩孚出川。首先，蒋介石从四川内部来发起讨吴活动。1927年8月20日，中国国民党四川旅沪同志会首先发出通电，声讨吴佩孚。随后，成都又举行了颇有声势的“四川各界民众讨吴大会”，宣布吴佩孚历年祸国殃民罪恶三十条，“共讨吴逆”。其次，蒋介石设下调虎离山计，决定调杨森部队到湖北讨伐唐生智，以削弱吴佩孚所依托的杨森的实力，使吴佩孚在四川孤立无靠，难以立足。12月，吴佩孚唆使杨森与武汉的唐生智联合攻蒋的阴谋败露，蒋介石干脆以南京政府名义，公布吴佩孚祸国殃民的事实，发出通缉吴佩孚的命令，要求四川军阀协助捉拿归案。
吴佩孚为在四川有个立足之地，在与杨森共谋下，一出“缴械共管”的假戏有声有色地演出了。杨森先在万县“一本正经”地对外发表谈话，宣布“将其所有少数卫队武装解除”。接着，吴佩孚就在白帝城煞有其事地交出一批枪支弹药，遣散卫队中一些老弱残兵。并乘船移驻万县。吴佩孚演的这出戏，似乎告知人们：“这确实可以证明我是无政治野心的了。”实际上，吴佩孚何曾放下过屠刀？杨森何曾收缴他的卫队枪械和监管他的行动？他只是掩人耳目，平息风波，取得立足之地罢了。可是没住上十几天，他就感到此地不能久留，因为万县地处川鄂交界，交通方便，蒋介石军队如入川捉拿，会缚手被擒。于是，他又借口“解除东道主困难”，率残部离万县北去，逃遁到四川腹地，选择离城三十里的云雾山笠竹寺，搭起了“讨贼联军总部”的空架子。在深山古寺中，吴佩孚整日与跟随的僚属高谈阔论，窥测方向，慨叹国事非我不可为，自喜可以乘乱世，以杨森部队为依托，以巴蜀天险为根据，图谋东山再起。他把云雾山看成了当年的鸡公山，重温旧梦。
但是，吴佩孚和杨森的机谋既露，蒋氏所给予的压力也接踵而来。1928年4月，蒋冯阎桂等新军阀，取得了暂时妥协后，开始全力向北进军，讨伐张作霖。在这样情况下，蒋介石为控制四川，采用“分而治之”，维持四川军阀内部不统一的策略。可是，吴佩孚在四川拉拢军阀，结纳旧部，密谋串联，使蒋介石感到这是他控制四川的最大威胁，必须予以翦除。5月，在蒋介石的笼络和策动下，与吴佩孚有“袍泽之交”的邓锡侯，指使其师长罗泽洲，包围笠竹寺，向吴佩孚发出了解除其卫队武装的最后通牒。这突如其来的行动对吴佩孚打击甚深，赤手空拳的吴佩孚只得又发出了愿为“太平之民”的哀鸣。
1930年秋，中原大地风云飘零，蒋、桂、冯、阎的中原大战正在策划之中。野心勃勃的吴佩孚不甘老死林泉，乘机又跃跃欲试。他招揽了一批失意军人、政客，扩充了武装，联络了各方势力，又准备出川“调解”政争了。然而，蒋介石指使四川军阀刘湘派兵阻拦，只许吴佩孚一人经过，随同人员一律不得同行。吴佩孚刚刚举起的“孚威上将军”的“帅”旗未满一天，颓然倒下。1931年7月，吴佩孚借游览山水之名，悄然离开成都，而后进入西北。他宣称，他与国民党是“鸟兽不可与同群”，准备招抚旧部，以图东山再起。然而，正如冯玉祥一针见血地指出：“吴佩孚到哪里，即可能把蒋介石的部队引到哪里。”12月，蒋介石密令杨虎城进入甘肃“驱吴”，吴佩孚又狼狈逃窜。
1931年底，吴佩孚辗转逃至北平，寄居于“世侄”张学良之下，企图寻求张的支持。张学良对这位老世伯毕恭毕敬，安排了东四什锦花园胡同的大宅院为其寓所，每月送上四千元，然而见面却绝不谈国家大事。吴佩孚对张学良这种“敬鬼神而远之”的作法大失所望，说：“张学良这小子没出息，忘记了自己的国仇家恨，真是不忠不孝。”发牢骚之余却无可奈何，每日在家与手下仅有的“八大处”属员讲述《春秋》、《易》、《礼》的微言大义，一面又在住所设“正一堂”，早晚打座参禅，扶乩念经。
1937年7月7日，日本帝国主义发动全国侵华战争。吴佩孚又有复起的机会。日本帝国主义需要汉奸，需要傀儡来掩人耳目，“共建大东亚共荣圈”。而吴佩孚曾在中国政治舞台上显赫一时，有一定的影响力和号召力；何况，吴佩孚既与蒋介石有宿怨，又是坚决反共的先锋，自称“以均产主义来对付共产党所信奉的共产主义，以振兴礼教来扑灭共妻主义”，无疑是日本侵略者选择傀儡的合适人选。
日本侵略者与吴佩孚早有联络，或曾答应助他“武力统一”，或曾同意助他东山再起。“七·七事变”后，吴佩孚与日本人关系深化，联系密切，接触频繁。他一反过去抗日的姿态，多次向日本侵略者表示自己的“抱负”和“坚决反共”的决心，以期取得日本当局的青睐。
1937年底，伪华北临时政府组成，吴佩孚列衔“特高顾问”，每月“车马费”四千元，什锦花园吴寓也一改“门前冷落鞍马稀”的状况。吴佩孚也放出风声：“要是民意让我出来，那我倒是可以考虑的。”
日本人对吴佩孚也确实情有独钟，确定了吴为中央傀儡政府的拥立对象，精心制定了代号“吴佩孚工作”的计划，派出了大迫通贞、川本芳太郎等高级特务负责吴佩孚“出山”，同时又诱唆一批社会渣滓向吴佩孚发出所谓劝进信、拥戴电，促吴“出山”。
吴佩孚倒也不甘被人玩弄于股掌之上，他提出了“出山”条件，就是要有一支自己的军队和一个自己的政府。吴的这种态度，使日本侵略者进退两难，于是采取了“霸王硬上弓”的方法。1939年1月，汉奸组织“和平救国委员会”，聘请吴佩孚为“绥靖委员会”委员长。1月31日，按照土肥原布置，在吴佩孚住宅举行中外记者招待会，欲对吴施加压力，迫其就范。这一天，吴寓军警林立，参加招待会的记者达130余人。之前，军警散发了由土肥原机关拟定好的吴佩孚书面讲话稿，人手一份，中、英、日文字俱备。然而，吴佩孚却抛开日本方面的讲稿，出其不意地发表即席讲话，公开表明了自己的态度，要做一个有实权的政府首脑。于是，在吴佩孚“出山”问题上，日、吴之间存在着很大距离。
经过一段时间的会谈，吴佩孚逐渐明白，日本人不过是利用他而已，而自己若一旦上当得到的不仅是“尸位素餐”，而且还有千古罪名，为四万万人所不齿。于是，这位自命“肩担道义安天下”，标榜今生“不结外人，不借外债，不住租界”，以抗倭英雄戚继光同乡而自豪的吴佩孚，终于表明自己的对日态度。
6月7日，吴佩孚给汪精卫复信，指出：“甲午丧师，庚子碟血，迄于九一八事变，隐忍依违，专以不滋事为无上自全之策，敷衍因循，正如溃疡附身，终归一溃！”对于抗日前途是战是和，他信中说：“中国四万万民众，实为主体民意趋归，果以抗战为然，则任何牺牲均可弗计！”而他本人，则将“委质国家，誓与国家生存，同其命运，苟能河山无恙，自计已足。”由此可见，吴佩孚与汪精卫在对日本侵略者的态度上，已有明显的不同。
6月16日，日本内阁五相会议通过了汪精卫拟定的《收拾时局具体办法》，指示汪精卫与吴佩孚“折冲”。18日，大迫通贞在北平与吴佩孚再次进行会谈。大迫通贞开门见山地提出了“汪吴合作”的建议，可是吴佩孚却反复重申了他“出山”后应拥有的权限和地位，要求成为中国之元首，与天皇处于平等的地位，其所任命的各部总长，在进行交涉时，与日本各省大臣平等。在以后的多次会谈中，吴佩孚甚至振振有词地说：“试能与日本交涉不失中国主权，得以结束日中战争，因所企望，愿意听从。若与‘临时’、‘维新’两政权相似，寄人篱下，未敢从命出山，而决心抗战到底。”
就在这个时候，汪精卫秉承其主子意旨，还想积极拉吴佩孚一道“下水”。6月27日，汪精卫在日本侵略者的安排下，趁到北京与华北汉奸头子王克敏会晤，成立伪中央联合政府之时，约请吴佩孚在日本华北方面军总司令的官舍会面，商谈“合作问题”。吴佩孚即以“咱们是中国人，谈的是中国事，要谈就该在中国人的家里谈”为理由而拒绝前往，后来汪精卫又提出“在顾维钧寓所进行会谈”，吴佩孚又以“在外面晤谈不方便”为词，提出要汪精卫“来敝舍会晤”，摆出威严的姿态，在寓所等待汪前来参见。为此，汪精卫不得不放弃与吴佩孚直接会晤的打算，于7月10日颓丧地乘车南下。
在日本侵略者把主持“和平运动”的重心转向汪精卫后，吴佩孚对汪氏进行了更加激烈的抨击。9月、10月，汪精卫在主子的指使下，又连续几次发函，邀请吴佩孚参加伪政权，甚至提出“汪主政，吴主军，平分秋色”的方案。10月9日，吴佩孚在给汪的复信指出，汪组织政府，在重庆政府依然存在的情况下，属于非法，若听之任之，“有碍和约之履行，反之则西班牙殷鉴不远，而人民益将不堪其命，国家不幸中之尤不幸矣。”吴佩孚还公开表示：汪精卫已“在日军监督下组织御用政府之形成，到底不如老蒋在支那大众特别是中青年层中得人心。”吴佩孚的这种态度，使日本当局对他逐渐失去了兴趣和热情。
然而，吴佩孚的“学生”川本，仍不愿罢休。他怂恿日本侵华派遣军总参谋长板垣征四郎出面，拜会了吴佩孚，再一次劝诱“汪吴合作”，共筹“新生之政权”，使“中日战争的和平解决”。可是，吴佩孚却强硬地回答：“日本既需要和平，何不先行撤兵，向国民政府请和？若办不到，何必找我！”吴佩孚的态度既然如此强硬，日本终于决定选择汪精卫而抛弃吴佩孚。日本帝国主义在侵华战争初期，把促使吴佩孚的“出山”看作是日本开展“和平运动”的头等大事。这项工作使日本当局花费了巨大的人力和物力，耗资3千万巨款，然而，到头来却是一无所得。日本当局对“吴佩孚工作”中止后，以前冠盖如云、车水马龙的吴公馆，又变得门庭冷落了。此时，吴佩孚已清楚地知道，自己最后东山再起的希望，已从“吴有办法”变成了“无有办法”，只能闭门喝酒赋诗打发日子了。
1939年11月24日，吴佩孚吃午饭时，饺子馅里肉骨头渣子正好嵌入左边一只镶有金牙套槽牙的牙缝里，疼痛难忍。家人急忙请医院里牙医来寓诊治。医院派来的牙医是日本人伊东，当场就替吴佩孚拔去了这棵槽牙。但到第二天，吴佩孚牙疼不见好转，而且左颚高肿，浑身忽冷忽热。家人又从天津请来中医郭眉臣来诊治。吴服用了几剂汤药后仍不见效。以后又遍请名医诊治，可是吴佩孚左颚肿痛越来越剧，甚至连粥和水都难以下咽，渐渐地两腮尽肿，喉头发炎，神情也恍惚了。12月4日下午3时，“学生”川本芳太郎携领日本军医寺田及护士，由华北大汉奸齐燮元陪同来到吴宅。寺田稍作检查后，告诉川本这病非动手术去脓不可。川本不征求陪伴在一边的吴佩孚老婆和儿子的意见，竟自作主张地立即要寺田给吴佩孚动手术。齐燮元也在旁极力“劝慰”吴的家属，要他们放心。3时45分，对吴佩孚施行手术。但手术后，吴佩孚一直处于昏迷状态，当晚就断了气。
精明过人的吴大帅死得却不明不白，当时各方面传说纷坛。日本当局宣称：重庆方面害怕吴佩孚“出山”，于是收买人设谋毒杀；重庆国民党政府则宣言：“吴佩孚将军之死，据各方调查，得悉吴并非因病致死，确系敌威胁利诱，迫其发表拥护新政府宣布，被吴拒绝，乘吴牙疾就医致死。”不管怎样，叱咤风云的吴佩孚的结局令人感慨万端。
不过，长于卜卦算命的吴佩孚怎么也不会料到自己死后会这么热闹。国民党《中央日报》予以头版大标题报导。蒋介石亲发唁电，表彰吴佩孚“精忠许国”、“大义炳耀”。而后，国民党行政、立法、监察三院院长和政府各部部长也纷纷致电哀悼，吹捧其“大节凛然，数年如一日”，“足为我国军人之模范”，“可为中国旧军人最后一个典型。”几天后，国民党最高国防委员会和政府分别决议，追赠吴佩孚为一级上将，其生平事迹，“存备宣付史馆。”
与此同时，日本侵略者和汉奸政府也在北平大祭吴佩孚。头号汉奸汪精卫致电表示“哀悼良深”。华北汉奸政府连夜下令：二日之内，所有各省市一律下半旗志哀，由伪治安部总长齐燮元主持治丧处，拨款二万元。只见吴佩孚宅前，车马络绎，喧闹一时。
吴佩孚一生罪孽深重，给人民带来巨大痛苦和灾难，然而他与其他军阀如段祺瑞、曹锟、张作霖相比，多少有些不同。董必武曾对他作过分析：“吴佩孚虽然也是一个军阀，他有两点却和其他的军阀截然不同，第一，他生平崇拜我国历史上伟大的人物是关、岳，他在失败时，也不出洋，不居租界自失。……第二，吴氏做官数十年，统治过几省的地盘，带领过几十万大兵，他没有私蓄，也没置田产，有清廉名，比较他同当时的那些军阀腰缠千百万，总算难能可贵。”