建安二十五年（公元220年）正月，曹操病逝，其子曹丕继任为丞相、魏王。同年二月，曹丕改丞相为相国，相国府设左、右长史各一人，任命原御史大夫华歆担任该职，蒋济也随即由丞相主簿西曹属专任为相国长史，成为华歆的主要助手之一。同年十月，曹丕逼迫汉献帝禅位，成为了曹魏帝国的第一任皇帝，史称魏文帝。为巩固边防力量，曹丕下诏任命蒋济为东中郎将，让他离开京师镇守边境地区。没想到蒋济居然不愿前往，一心想着在朝中为官。为此，曹丕专门下了一道《出蒋济为东中郎将不听请留诏》，催促蒋济尽快赴任。但蒋济到任后不久就立即想出了返回京城的妙计。他拿出了自己多年精心创作而成的《万机论》十卷，呈送给曹丕。这部《万机论》洋洋洒洒，不但推及利弊，同时也包含了治国思想和理念。曹丕读完之后龙颜大悦，立即下诏将蒋济调回了京师洛阳，并授予蒋济散骑常侍一职，成了自己身边的近臣。不过，蒋济回到洛阳不久就给曹丕上了一课，弄得曹丕这个着名的文学家、诗人很没面子。
事情是由曹丕颁布给征南将军夏侯尚的一道诏书引发的。曹丕在这道《诏征南将军夏侯尚》中是这么写的：
卿腹心重将，特当任使。恩施足死，惠爱可怀。作威作福，杀人活人。
这段话翻译成现代文大致的意思是这样的：你是我的亲信和重要的将领，因此特地委任你担任征南将军这样的要职。施恩足以让人为之牺牲生命，惠爱也能让人怀念终生，作威作福，可以杀人或者活人。
这道诏书原本是对夏侯尚的嘉勉和鼓励，但是文中使用的“作威作福”一句却犯了大忌，属于一种严重的用词不当。而当夏侯尚美滋滋的将这个诏书拿给蒋济看时，蒋济顿时就看出了其中的问题。
过了没多久，曹丕召见蒋济，向他问及天下风俗教化的情况，而蒋济却冷冰冰地回答说没有看到什么令人欣喜的情况，反而听到的都是些亡国之语，这让原本等着蒋济歌颂自己功绩的曹丕非常愤怒，责问蒋济究竟是什么意思。这时候蒋济不慌不忙地说起了曹丕给夏侯尚的诏书。
蒋济认为，“作威作福”是《尚书》中明确劝诫后人应该戒除的，是个贬义词，而曹丕作为一国之君居然用上了这个词作为颁布天下的诏书，足见已经忘记了古代圣贤的训诫。蒋济提醒曹丕，天子无戏言，希望曹丕认真对待在诏书里出现的这个严重失误。
蒋济的话让曹丕深有感触，于是连忙命人追回了给夏侯尚的这道诏书。对于心胸狭窄的曹丕来说，承认自己的错误可不是一件容易的事情，但这一次蒋济的话却让他不但怒气全消，而且心甘情愿接受了蒋济的批评。这也可以看出蒋济在曹丕心中的地位。
就在蒋济在洛阳悠闲地担任着散骑常侍的这段时间里，三国形势已经发生了较大的变化。关羽在荆州败亡之后，蜀汉集团的势力扩张受到了极大的遏制，由诸葛亮所制定的“跨有荆益”的战略构想也濒临破产。
为了挽回这种不利局面，刘备于黄初三年（公元222年）二月开始向孙权占领的荆州地区发动大规模的进攻。为了避免两线作战，孙权主动向曹丕俯首称臣，而曹丕拒绝了谋士刘晔提出的趁机向东吴发动夹击的建议，接受了孙权的请降要求。孙权在夷陵之战中取得了巨大的胜利，曹丕这时候才想起来应该向孙权施加更多的压力，于是向孙权提出将其儿子孙登送至魏国作人质的要求，遭到了孙权的断然拒绝。曹丕恼羞成怒，不顾刘晔等大臣的反对，于同年九月以十万之众兵分三路沿长江一线向孙权发动进攻。曹休、张辽、臧霸作为东路进攻洞口，曹真、夏侯尚、张合、徐晃作为西路进攻江陵，曹仁则作为中路进攻濡须地区。由于蒋济曾经在淮南一带与孙权有过交手并具有一定的作战经验，曹丕特意命令蒋济随同中路大军统帅曹仁一起出征。就这样，蒋济又一次来到了战争的第一线。
战争开始之后，曹仁以其子曹泰向濡须发动主攻，并以将军常雕及诸葛虔、王双等乘船袭击濡须中洲，蒋济则被安排率领一支偏师进攻羡谿。对于曹仁的这个部署，蒋济提出了不同的意见。蒋济认为，东吴大军占据长江西岸，并将战船部署在长江上游，按照这样的战场态势，曹仁进攻濡须中洲的计划等于是钻进了吴军预先布置好的陷阱，无疑是自取灭亡。不过，蒋济的建议并没有得到曹仁的认可，曹仁固执地按照原定计划发动了进攻，结果东吴将领朱桓以将军严圭进攻曹仁的油船，以一部对常雕所部进行反击，自己则以主力对曹泰发动总攻。这一下子让曹仁措手不及，常雕当场阵亡，王双被俘，曹泰眼见大事不妙，只能烧毁营寨撤退，数千士兵在这场战斗中死亡，中路大军的进攻遭遇惨败，曹丕三路进攻的计划无法实现，只能全军撤退，无功而返。此战过后，曹仁羞愧难当，不久便抑郁而亡。战后检讨得失，蒋济不但没有受到丝毫的处罚，反而因为向曹仁提出警示而得到了曹丕的嘉奖。黄初四年（公元223年）三月，曹丕下达了一道《以蒋济为东中郎将代领曹仁兵诏》。
该诏提道：
卿兼资文武，志节慷慨，常有超越江湖吞吴会之志，故复授将率之任。
这道诏书对蒋济的赞誉可谓跃然纸上，蒋济不但被形容为文武双全、品德高尚，同时还得以统帅刚刚病逝的大司马曹仁所部，同时又被重新授予了东中郎将一职，由一个文职的京官摇身一变成为拱卫江淮的边塞重将。不过，这个任命更多的则是失败之后鼓舞士气的一个临时举措，就在之后不久，蒋济便奉命调回了洛阳，任职尚书，从此进入了曹魏帝国的核心阶层。
黄初六年（公元225年）十月，曹丕再一次对东吴发动进攻。当曹丕的大军抵达广陵之时，蒋济向曹丕献上了《三洲论》，认为水路无法通畅，不适宜发动进攻。不过蒋济的建议再一次遭到曹丕的否定。当曹丕大军前进至渎水之际，中渎水道结冰，数千艘战船停滞不前。这时候有大臣建议就地驻扎屯田，而蒋济则认为该地东临洪泽湖，北靠淮河，容易遭到吴军的进攻，反对就地驻扎的意见。蒋济的这个建议终于得到了曹丕的采纳，于是大军开始后撤。但是就在回军途中，精湖的湖水几近干枯，船队散布在数百里的水面上因为搁浅无法前行。此时已经无计可施的曹丕将这个难题又甩给了蒋济，自己由谯县返回洛阳。面对这个突如其来的意外状况，蒋济沉着冷静，下令开凿出四五条水道，让船只聚拢，然后修筑土墩阻断湖水，先将战船都牵引在一起，最后再掘开土墩，顺着水势将战船全部引入了淮河，仅仅比曹丕晚一点抵达谯县。曹丕对此深有感触，回到洛阳之后由衷地赞叹道：“我原本决定从被困的船只中分出一半在山阳池中烧毁，而你却能将所有的战船全部带了回来，仅仅比我晚一点回到谯县，实在出乎我的意料；每次你所陈述的意见都与事态的发展丝毫不差，这更是让我钦佩。以后征讨敌人的计划，你想到什么好的意见和建议的时候，一定要告诉我。”
回顾蒋济在曹丕当政期间的经历，尽管所提出的建议并没有完全得到曹丕的采纳，但是每到事后，曹丕都会对蒋济的先见之明钦佩不已。
因此，蒋济在朝中的政治地位和影响力都得到了进一步的巩固和加强。
黄初七年（公元226年）五月，魏文帝曹丕病逝，其子曹睿继位，史称魏明帝，此时已经恢复联盟的孙刘两家借机向曹魏发动两线进攻。
太和二年（公元228年）五月，孙权命令鄱阳太守周舫向曹魏扬州牧、大司马曹休诈降，企图吸引曹军淮南地区的主力深入东吴境内予以歼灭。
此时已经被授予关内侯的尚书蒋济上书魏明帝，认为不可轻信周舫投降的说法，并指出一旦大军深入敌境，不但将与东吴的精锐正面相对，同时还面临着东吴将领朱然的尾随追击，后果不可设想。
不过，魏明帝并没有听从蒋济的意见，仍然命令曹休率领十万大军出兵皖城，同时以司马懿、贾逵分别出兵江陵和东关，对东吴进行三路进攻。当曹休大军进抵皖城后，蒋济再一次提醒魏明帝曹睿：目前东吴军队已经显露出向西进军的迹象，一定是想合并一处向曹休发动进攻，应该立即派遣主力增援曹休，以免曹休遭遇重创。战局的发展也正如蒋济预料的那样，等到曹休发觉中了周舫的诈降之计时，东吴名将陆逊已经率领大军对曹休实现了合围。一战之后，曹休大败而归，伤亡万余人，军用物资消耗殆尽。幸好贾逵及时赶到，否则曹休的十万大军就将全军覆没。战后，曹睿对于蒋济的先见之明称赞不已，提拔其为主管中央武官选拔的中护军一职。