汉武帝的时候，有位官员叫颜异。他为人正直、廉洁，所以逐渐被提拔重用，由原来济南的一位亭长不断晋升，后来位列九卿，直至担任大农令的职务。
有一年，汉武帝与御史大夫张汤，造好了一种新的钱币叫白鹿皮币。这是用一种鹿皮制作的货币。在货币发行前，他们征求颜异的意见。
颜异直率地提出了自己的看法，他说：“王侯们朝贺时用的是青色的璧玉，价值不过四千，而他们用来托那璧玉的白鹿皮垫，现在成了货币，价值却高多了，这样就会本末倒置，太不相称了吧！”他的反对，使汉武帝很不高兴。
张汤是有名的酷吏，与颜异本来就有矛盾，听了这番意见后，心中更加反感。没过多久，恰巧有人来告发颜异，说他非议朝廷，而朝廷让张汤来审理这一案件。
张汤早就想报复颜异，这次机会来了，他自然十分高兴。他想方设法搜集、寻找颜异的罪行。
有一次，一位趋炎附势的门客与颜异交谈，谈起了朝廷新颁布的白鹿皮币的法令，说法令中有不够恰当的地方，然后有意地观察颜异的反应。颜异这回比较谨慎，并没有接这话茬儿，只是嘴唇微微一撇，实际上是一句话也没讲。然而张汤根据这一密报，居然定下了颜异的罪行。张汤上奏章给皇上，说颜异身为九卿，看到新的政令有不合适的地方，不上朝进言，却在肚子里诽谤，应当判处死罪。结果颜异真被张汤处死了。
从此，“腹诽”就成了一种不成文的罪名。在旧社会，凡是诬陷人时往往就援引这一例子，定人家腹诽的罪。由于张汤这样罗织罪名陷害无辜，所以朝廷里大大小小的官员，谁也不敢再提意见。
“腹诽”一词是从张汤上奏中留下来的。“腹诽”就是在肚子里诽谤，没有说出来。现在运用时并不一定都是诬陷人、诽谤人，有时嘴里虽没有说出来，但心里在反对，也可以用腹诽。如：对这事腹诽的不少；这事既然公开讨论，就可以直言，用不着腹诽啊。这个词也可以写成“腹非”。