西汉时，有一位名叫李延年的乐师深得汉武帝的喜爱。一天，在宫廷宴会上，李延年一边抚琴，一边唱道：“北方有佳人，绝世而独立，一顾倾人城，再顾倾人国。”汉武帝听完，笑着说：“世上真有这样的绝代佳人吗？”武帝的姐姐说：“李延年的妹妹就是这样的佳人。”
武帝让带进宫来，一看果然是一个绝世美女，且人品出众，能歌善舞，就留在了身边，被称为李夫人。李夫人很受武帝的宠爱，常常伴在武帝身旁，可不幸李夫人年纪轻轻染病身亡，武帝十分思念她，整天郁闷不乐。武帝一向笃信鬼神，不少方士为骗取钱财乘机向武帝宣扬一些神灵之术。齐国的一个叫少翁的方士，说他能在夜间用法术招来李夫人的魂魄，武帝欣然应允。夜里，少翁挂起帷帐，张灯悬烛，请武帝在帐外等候，自己进帐作法。一会儿，武帝便隐隐约约看见一个貌似李夫人的美女慢慢来到帐中，或端坐或漫步。武帝细看，那美女侧着半边脸，越看越像李夫人，武帝心中更加思念李夫人，但却不能靠近，心情更加悲痛，当即作诗一首：是你呢？还是不是你呢？我遥望着你，你为什么姗姗来迟呢！方士少翁满足了武帝的心愿，得到了奖赏。武帝又命乐师将“是邪，非邪？立而望之，偏何姗姗来迟！”这首诗谱上曲子，以纪念李夫人。
后来，人们用诗中的“姗姗来迟”作成语，常指慢腾腾地来晚了。