据传吕端在相位的时候，曾遭奸臣陷害，被削官还乡为民。吕端得旨后二话没说，便和书童背上行囊，挑上书籍，离开京城上路向家乡走去了。
吕端在路上行走数日，回到自家门口时，见家中正在设宴摆席大办喜事，原来是为老弟结婚设宴，有不少当地官吏和豪绅赴宴。这些人见吕相爷回来了，又是大礼参拜，又是奉上厚礼，只弄得吕端哭笑不得。他见此情景只好当众言明真相：“我吕端现在已被革职还乡为民了！”谁曾想到，吕端的实言出口，竟使得那些势利眼的官吏和豪绅们个个脸色突变，有的目瞪口呆，有的斜眼相视，有的甚至拿起所送礼品离座而去了。
真是“无巧不成书”。正在这个时候，村外传来的马蹄声、鞭炮声声震长空。原来是皇上派御史来给吕端下旨的。那御史骑马直到吕端家门口，下马便大声喊道：“吕端接旨！”只见吕端急率全家老小，跪在地上静听“旨意”。大家的心怦怦地跳着，有各种各样的猜想。唯有吕端本人心中有数，猜出十之八九。只听那御史宣旨道：“吕端回朝复任宰相，钦此！”全家人听后三呼万岁。
方才散去的那些官吏和豪绅，闻听吕端又官复原职了，个个面红耳赤，瞠目结舌，心中着实难堪。只好重新相聚，脸堆笑容，回到吕府重新送礼贺喜，支吾其词，听不清说了何等言语。吕端对于这些势利眼们的行为表面上无动于衷，可心中暗笑。
在那些官吏当中，自然少不了本县那位七品知县。他坐着轿子走后复返，忙跪在吕端面前，一边像捣蒜棰子似的给吕端叩头，一边自己打自己的嘴巴：“相父，我不是人，大人不怪小人过。”吕端的书童很是生气，上前揪住那知县说：“大胆狗官，竟敢戏弄我家相爷，摘去你的乌纱帽！”
书童此举，吓坏了那个知县，他便双手紧捂头上的乌纱帽。吕端这时才上前拉住书童道：“不要这样！”书童很生气地说：“相爷，像他这样的势利眼，不能饶恕！”
“小弟呀，此言差矣！他知道自己做错了事，我们就应高兴，不必惩罚他了。我们何必强迫别人做他自己不想做的事情呢？”吕端说完这些话，那位知县心里非常内疚。
言行导航
吕端在相位的时候，曾遭奸臣陷害，被削官还乡为民。吕端得旨后二话没说，便和书童背上行囊，挑上书籍，离开京城向家乡走去。当他到家乡后，不少当地官吏和豪绅奉承他。可是在知道吕端被罢免后，全都又不再和他联系了。后来，吕端又被复职，那些当地官吏和豪绅又来奉承他。吕端没有为他们先前的做法生气，而是宽恕了他们。
这种“君子不度小人之腹”的作法，值得我们借鉴和学习。