光读正面的历史是不够的，还要看小说。所谓历史，常常人名、地名、时间都是真的，内容不太靠得住；而小说，是人名、地点、时间都是假的，但那个故事却往往是真的。
——南怀瑾
南怀瑾好读书，自小便是如此。幼年时候在家自修之际，父亲担心他变的懒散，专门将他送到了家庙里读书。南氏的家庙就在附近的山上，一个又呆又瘸的公公负责看守家庙。
南家的藏书很多，《史记》、《文选》、《纲鉴易知录》等书应有尽有，唐诗宋词就更不必说了。此外还有许多的“闲书”，比如《红楼梦》、《三国演义》、《水浒传》、《说岳全传》以及一些别的小说。南怀瑾什么都看，只要是能弄到的书，必定都会想办法弄来看。家庙附近环境幽深，十分适合读书。
后来离开家乡到了杭州之后，南怀瑾也依然热爱读书。国术馆中除了开设武术课程之外，也开设了一些文化课程，例如国文、历史以及生理卫生等。国术馆教授的东西远远难以满足南怀瑾对知识的渴求，在练武之余，他还时常抽时间去附近的大学旁听。但旁听许久之后，南怀瑾认为，大学的课程也不过如此，不如自己看书的好。当时在社会上有一些英文补习班，南怀瑾也参加过英文班，但最终却觉得自己实在没有英文天赋而选择了放弃，此后，南怀瑾一辈子也没想过去学英文。
南怀瑾读书的天赋是十分高的，据闻他在杭州之际，曾遇到过一个和尚，和尚送给了南怀瑾一部《金刚经》，只读了三天，南怀瑾就感觉心中脑中一片空灵，甚至找不到“我”了。当他将心中感悟告诉和尚的时候，和尚惊讶地说：“你太了不起了！人家修行几十年都未必能做到，你却只念了三天的《金刚经》便达到了这种境界。”可见，南怀瑾在读书方面，尤其是在佛学之中，悟性是极高的。
而在南怀瑾一生的两次闭关中，也都是一头扎进了书海之中，靠着对经典的研读，度过了常人难以忍受的，几乎完全与世隔绝的日子。
南怀瑾前往台湾之际，所带的行李并非黄金美钞，也不是钱粮缎帛，而是一大堆的书。当时他还不曾想好自己到台湾以后如何生活，但却完全舍不下自己身边的书籍，千里迢迢将这些“不值钱”的东西带了过去。
南怀瑾可说是嗜书成癖，他这一辈子所收藏的书，上自先秦，下至民国，包括了诗词曲赋、名人传记、世界经济、外国史地、哲学著作、中西医药、当代科技，以及他最喜好的佛道经典，甚至还囊括了中外美术、音乐、武侠小说等等。他所藏之书，以及一生所读过的书，几乎难以统计。南怀瑾的藏书几乎可以组成一个不小的图书馆。南怀瑾一生读如此多的书，其阅读速度也十分快，常常能做到一目十行，随口便能将其中道理说出来，实在是令人叹为观止，其天资也并非一般人可以相比的。
南怀瑾嗜书如命，对读书也有着自己的一套见解与认知。南怀瑾曾说：
中国读书人，不是问你有没有学位，我们以前讲读书，是说这个孩子“读通”了没有。书要读通，通就是渊博，然后归纳起来变专才。光学一门专学，其他不通，只能做专门的事，其他的事就不行了。
南怀瑾的学问文章名满天下，引起了无数人的瞩目。许多对中国文化极有兴趣的外国人都纷纷登门拜访南怀瑾。南怀瑾对于一切意欲求学之人都以礼相待，将自己所学倾心传授，从不要求任何回报。在这样的交流之中，南怀瑾与不少西方人士建立了亦师亦友的关系。
曾经有一位从德国慕名而来的年青学生在回国之前，向南怀瑾先生行了跪拜大礼作为辞行。来自加拿大的学子文颢儒倾慕中国文化，投入了南怀瑾先生门下，受到先生熏陶，不到一年的时间竟比中国人更加中国化，堪称西方儒者。求学期间，文颢儒还将其母亲接到了台湾进行观光。归国之后，文颢儒成为了加拿大文化部专员，并将南怀瑾的著作《论语别裁》翻译成为法文，以推广南怀瑾的学问。
美国禅宗巨子，曾是《纽约时报》知名记者的卡普勒为寻求禅宗之根，率弟子特地拜访了南怀瑾，经过两天的彻夜长谈，卡普勒对南怀瑾心服口服，临别之际一再说道：“我一定会再来的！”此后，卡普勒一直向众人称赞南怀瑾先生是一名难得的开悟者，一位了不起的禅宗大师，甚至时常介绍拜入他门下的欧美禅门弟子前往南怀瑾先生处求教。
英国学者李约瑟博士对道家的学术推崇备至，曾以一部名为《中国科技文明史》的著作闻名于世。在编写这本著作的时候，李约瑟博士曾专门到台湾进行资料搜集，后在陈立夫先生的陪同下拜访了南怀瑾。两人兴致盎然地谈了三个多小时。
1985年盛夏，迫于台湾当局的压力，南怀瑾接受了美国方面的邀请，抵达了华盛顿，并正式成立“东西学院”。旅美期间，南怀瑾一直致力于中国文化的传播，以及中西方文化的交流。
在南怀瑾的众多作品中，有两部作品有着特殊意义，一部就是他在台湾最艰难时期的处女座《禅海蠡测》，另一部则是他的成名作，也是目前影响最广的作品《论语别裁》。1990年，南怀瑾的著作终于开始得以在大陆发行，刚一投入市场，就受到了读者的热情追捧。随着作品的畅销，南怀瑾的名字也终于为内地人所熟知。
可以说，南怀瑾是文化界的奇人，台湾历史学家许倬云曾在他的著作中评论道：
南怀瑾是奇人，有一股吸引力，交游广阔，佩服他的人也很多。大概是传统严谨的学问，大家觉得太枯燥，他讲的却有许多很方便的途径。