这个成语出自《三国志·吴书·陆绩传》。
陆绩是三国时东吴的一位学者，他幼年做客怀桔的故事，广为后人流传。
陆绩六岁那年，在九江见到袁术(东汉末年的大军阀)。袁术见他聪明伶俐，就叫人拿出桔子来招待他。他见袁术与别人说话时没注意，就拿了三只桔子揣在怀中。
临走时，陆绩向袁术弯腰行礼，想不到怀中的三只桔子骨碌骨碌地滚了下来。但他却不慌不忙地又把三只桔子拾起来放进怀里。袁术感到很奇怪，问他说：“小孩儿，你做客还偷带主人的桔子吗?”
陆绩跪下说：“我很想带回去给母亲尝尝。”
袁术很感动，赞叹道：“这孩子不寻常啊!”