采石矶亭建筑大都跟大诗人李白相关，如同辅佐着主体名胜建筑太白楼。其中的一座亭，由李白的怀古作品，引出了晋代的另一位大贤，即大将军谢尚。此亭便命名为怀谢亭。
谢尚，东晋时期一位武将，镇守牛渚要冲，即现在的采石矶，被称为“镇西将军”。这是一位儒雅风流的将军，爱好文史，赏识贤才。有一年秋天，他乘夜色泛舟游江，听到附近一条船上有人吟咏，深沉的音调，超逸的语词，强烈吸引了他。他派人察看，并邀请咏诗的人过船交谈。他没有想到，咏诗的人名叫衰宏，本是租来船上的一个帮工。他出身贫寒，但刻苦攻读，熟谙经史，文才出众。谢将军与袁宏促膝谈心直到天明。谢尚极赏识袁宏，把他召到府中，后来又荐他到桓温大司马府任记室、掌书记。袁宏有了良好条件，施展才华，撰写出历史着作《后汉纪》，创作了《竹林名士传》、《三国名臣赋》等佳作，成为着名史学家、文学家。以后，谢尚识袁宏这个识才、惜才并荐才的故事成为千古美谈。
四百年后，大诗人李白来游当涂，也到牛渚月夜泛舟，想到古贤佳话，不禁悠然神往，诗兴勃然，咏出了一首着名的诗篇《夜泊牛渚怀古》：
牛渚西江夜，青天无片云。
登舟望秋月，空忆谢将军。
余亦能高咏，斯人不可闻。
明朝挂帆席，枫叶落纷纷。
这首诗的题目下边，原来有诗人作的注，写道“此地即谢尚闻袁宏咏史处”。在古人识贤荐才的旧地，由望而忆，触发联想，伤怀自己的身世遭遇。尽管自己富于才华，能同袁宏一样“高咏”，无奈“斯人不可闻”，谢将军那样胸襟豁达的人物却遇不到了。这是多么叫人感到寂寞凄清，不由发出慨叹的事！这首诗自然清朗而意蕴深远。大诗人的怀古也就是“忆谢”，其中蕴涵着极为丰富、深刻，令人永久回味不尽的理趣，其现实意义也不可低估。
正由于这层缘故，今人在已经有了不少古亭名亭的牛渚——采石矶又建造了这样一座怀谢亭。这里用李白当年“怀古”即怀谢的典故，同时兼有了怀念大诗人李白的双重意蕴。怀谢亭为双重檐楼阁式，远望去它好像振翅欲飞；椽梁构架形式虽为仿古，却带有显着的现代气息。我们的时代人才辈出，有才者大有用武之地。但是，社会飞速发展，新的事业需要大量的各种各样的优秀人才，人们有理由企望、呼唤多一些再多一些如谢尚将军那样求才若渴，举才不遗余力的贤人。