乾隆年间，新疆地区有一个维吾尔族首领的妻子，长得国色天香，并且身上有一股奇异的香味儿，令人如痴如醉，人们都管她叫香妃。
乾隆皇帝听说了，对香妃仰慕不已，便下旨召香妃进宫，纳为嫔妃。
香妃自从来到清宫，没有一丝快乐，她仍然想念着自己所爱的人和生她养她的家乡。她身上藏着锋利的匕首，不容乾隆接近自己，否则就要自寻短见。
乾隆整日巴望着香妃答应做自己的妃子，可是香妃任凭谁来劝说都坚决不同意。乾隆眼巴巴地看着貌若天仙的美女，却不敢接近，生怕她急了去寻死。
无奈之下，乾隆只得将香妃安置在宝月楼住下了。
香妃是维吾尔族人，维吾尔族多信奉伊斯兰教，也就是回教。为了讨好香妃，乾隆命伺候她的仆人，一切一定要按回教的风俗习惯安排饮食起居。但是，即便这样，香妃依旧断不了想家的念头。
乾隆天天琢磨给香妃消愁解闷儿的法子。他想，香妃信奉回教，家乡有做礼拜的教堂，我若在京城给他盖一个伊斯兰教楼，她想家时去看看，不就如同回到家里一样吗？
乾隆想到这儿，立即下旨在宝月楼的对面盖一座伊斯兰寺。
没过多长时间，一座两三丈高、庄严肃穆的伊斯兰教楼便盖成了，这座楼面阔七间，是两层木结构的楼房，山顶为重檐琉璃瓦卷的。乾隆还命许多信奉回教的人住在附近。
每当香妃思念家乡的时候，便登上宝月楼，向南眺望仿照家乡教楼而新盖的教楼，看到那些头戴回民帽子、出来进去的家乡同胞，香妃思乡的心终于得到了些许安慰。于是这座楼便被叫做了望家楼。
但是香妃仍然不愿意陪在乾隆身边，她依然思念生她养她的故乡。皇太后生气了，皇上如此费尽心机，取悦于她，她还是不动心，这样长此以往，怎么能行呢？
为了不让乾隆为香妃再浪费心思，皇太后产生了除掉香妃的念头。
一天，乾隆出宫去了，皇太后便召见了香妃，她问香妃：“你到底是从还是不从？”
香妃还是不情愿地摇摇头。
皇太后说：“不从，就叫你死！”
香妃笑着说：“我被你们抢来就没打算活着！”
于是皇太后就扔给她一条白绸子，赐她自尽。
现在“望乡楼”虽然不复存在了，宝月楼也改成了新华门楼。但香妃的故事却一代一代地传下来了。