吕叔湘在云南大学任教期间发表了他的第一篇有关汉语语法的文章，从此走上了语言研究的道路。在七十多年的学术生涯中，吕叔湘一直孜孜不倦地从事语言教学、语言研究和语文知识的普及工作，他辛勤笔耕，共出版专著和编译二十余种，发表论文和其他文章六百余篇。
吕叔湘是近代汉语学科的拓荒者和奠基人。早在20世纪40年代初期，吕叔湘就开始以古代白话文献为资料进行历史语法的研究，其成果集中反映在20世纪50年代结集出版的《汉语语法论文集》和1985年出版的《近代汉语指代词》中。当时专门以近代汉语为研究对象的学者几乎绝无仅有，他自己说：“这个工作在当时多少有点垦荒的性质。”在吕叔湘之前，古代白话资料已经受到黎锦熙、王力等学者的重视，但是全面系统地披览、开掘并加以利用的，当推吕叔湘。半个多世纪来的语法研究，代表了中国语法学发展的主流。他的著作在汉语语法体系建设以及理论和方法上都有开创意义，成为半个多世纪来我国现代汉语语法研究最有影响的成果。他既广泛借鉴国外语法理论最新成果，又努力探索汉语语法的民族特点；既积极建构汉语语法的新体系，又强调对语言事实客观详尽的描写；既重视语言形式分析的客观性和可操作性，又注意语义分析在语法研究中的重要地位；既注重现代汉语语法自身的系统性，又处处留意与外语、古代汉语以及方言的比较；既追求语法理论的科学性，又热心语法知识的应用与普及。吕叔湘贯通古今、融会中西、实事求是、严谨细腻、不断开拓、独创新见，始终为学界所推崇，成为语法学界的学术领袖。
吕叔湘幼年时在县城的一所私塾读书，1915年，考入丹阳县高等小学。这是该县最早的一所高等小学，校址坐落在县城白云街中段，现在是丹阳实验小学。这个学校虽然没有多少先进设备，但教师水平较高，教学认真，管理极严。吕叔湘入学的这年，学校增开了英语课。
校长杨鸿范是位忠厚的长者，教全校三个年级的算术，抓习题作业十分认真。作业本上绝对不准添除涂改，如果写错，全部重写。这样就养成学生不写错字的好习惯。国文教师张海宗讲批改作文，随改随讲。一起叫去五六个学生，因此可以听到五六篇作业的评改。
当时丹阳没有中学，高小毕业升学，有的去镇江六中，有的去常州五中。1918年暑假，吕叔湘和同学夏翔考入常州第五中学。这是他第一次离开家乡。常州五中的校训是“存诚，能贱”，入学的新生看了，不解其意。校长特地给他们讲了这两句话的含意：“存诚”是做人要老实；“能贱”是不要轻视卑微的工作。
吕叔湘在各种功课中，对国文和英语最感兴趣，喜欢在图书馆广泛阅读。
1922年，吕叔湘中学毕业，以优异的成绩考取国立东南大学外国文学系（后改为外国语文系）。根据当时学校的制度，除本专业课程外，还必须在文科和理科的几组课程中选修若干学分，如中文、历史、物理、化学、地学、生物学、心理学等课程。所有这些，都为他以后的教学和研究工作打下了基础。
吕叔湘学生时代的兴趣在文学方面，对语言方面如语音、会话等并不十分重视。后来到中学教英语，需要语音、语法方面的知识，就边教边补。吕叔湘于1926年从南京国立东南大学毕业，到家乡刚刚创办了一年的丹阳县立中学教一个班英语。当时只有两个班，校长陈湘圃自己教了一个班英语。吕叔湘教学任务不足，陈湘圃让他兼教国文文法。吕叔湘以《马氏文通》为教材，开始钻研中国文法。
吕叔湘除在丹阳县中任教外，还在堂兄吕凤子创办的丹阳正则学校兼课，后来是该校校董之一。吕风子长吕叔湘18岁，在吕叔湘懂事的时候，吕凤子已到外地工作，两人很少见面。在丹阳的这段时间里，吕叔湘上课前后，有时候去凤子大哥的房子里随便谈谈，两人很快熟识起来。
1927年暑假后，校长陈湘圃改任省立徐州中学校长，继任的校长是何金元。半年后，何金元被地方势力逼得辞职，吕叔湘也跟着辞职到苏州去教书。1928年，丹阳县中情况很不好，吕凤子等共商对策，把一向在杭州教书、跟丹阳教育界无关系的何其宽找回来担任县中校长，希望能缓和矛盾。何其宽又把吕叔湘请回来担任教务主任。另外又从外地请来几位有学问、有经验的教师，一时间，教师阵容整齐，学校气象为之一新。可这是不符合某些地方势力愿望的，他们不断给何其宽制造困难。何其宽感到棘手，只干了一学期，又不得不辞职回到杭州去教书，吕叔湘也辞职去安徽省第五中学教书，暑假后仍到苏州中学任教。
1929年开始，吕叔湘一直在外地工作，难得回丹阳，可每逢回丹阳，他总要到正则学校去看望风子大哥和别的熟人，忘不了自己是正则大家庭中的一员。苏州中学图书较多，吕叔湘在这里阅读了丹麦学者叶斯柏森的《语法哲学》等语言学名著，为以后走上语言学研究的道路打下了基础。
吕叔湘在苏州中学，除教学外，还参加《高中英语选》（中华书局出版）的编注工作。有空还译书，前后译出《人类学》、《初民社会》、《文明与野蛮》三种，分别由商务印书馆和生活书店出版。1935年，吕叔湘考取江苏省公费留学英国，第二年年初成行。在起程前，吕凤子欣然为他绘一幅画送行。吕叔湘先后在牛津大学人类学系、伦敦大学图书馆学科学习。他出于教育救国的思想，决定选学图书馆学专业，是因为觉得图书馆工作对发展祖国的文化事业作用很大，自己要为改进我国的图书馆工作而努力。
1937年，抗日战争已开始，吕叔湘没有等三年期满。提前于1938年初回国。当时江苏已沦陷，吕叔湘家人流亡到湖南，吕叔湘与家人会合后，转道云南，在云南大学文史系任副教授，教英语。他和施蛰存住同屋。施蛰存拉他给《今日评论》周刊写文章。恰好早几天，吕叔湘看到朱自清写的一篇文章说，每个句子总要有一个主词，觉得这种说法不全面。考虑再三，他就写了《中国话里的主词及其他》。这是吕叔湘的第一篇有关汉语语法的文章，并由此结识了朱自清。也正是这篇文章发表后，1939年暑假后开学，系里给他加了一门中国文法。这时候，王力在西南联大讲授“中国现代语法”的讲义已经印出来了，吕叔湘借来一份参考。他在教课中遇到一些问题，想找王力商讨，可王力休假，住在河内从事汉越语的研究，无法商讨，只好自己琢磨钻研。
1940年暑假后，吕叔湘离开昆明，迁居成都，任华西大学中国文化研究所研究员。他的第一篇研究论文是《释您、俺、咱、喒，附论们字》，这是针对胡适和王静如的文章写的，他们说“们”是从“俺、您、喒”的韵尾－m变来的，吕叔湘发现这个结论恰好把演变的历史颠倒了，引许多材料证明先有“们”字。“俺”是“我们”的合音，“您”是“你们”的合音，“喒”是“咱们”的合音。此后他接着发表《说汉语第三声代词》（英语）、《论“毋”与“勿”》等论文，其中有好几篇是研究近代汉语（即早期白话）的，开辟了汉语语法研究的一块处女地，代表作有《释<景德灯录>中“在、著”二助词》等。
1942年，吕叔湘离开华西大学，改任金陵大学中国文化研究所研究员。同年，商务印书馆出版了他的《中国文法要略》上卷（中、下卷出版于1944年）。这是我国语法学史上的开创性著作之一。我国在《马氏文通》以前，没有系统的语法著作。古人讲章句，讲虚字，目的是读懂古书，还没有想过语言的形式可分析综合，总结出一些规律。语法学是19世纪末从西方引进来的，因此不免有一段时间以模仿为主，难免有削足适履的毛病。吕叔湘历来重视语言实际的研究，他的语法著作总是从具体的语言材料出发，努力探索汉语的特点和规律。《中国文法要略》这本书以丰富的语言材料为基础。因为此书是四川教育科学馆约稿，供中学教师参考，所以引用的材料大多数取于当时的语文课本，文言白话兼收。作者用比较的方法研究语法，建立了一个新的语法体系，对后来的语言研究产生了一定的影响。
吕叔湘孜孜不倦地从事研究工作，他于1942年至1948年在《中国文化研究汇刊》上发表了《“相”字偏指释例》、《“见”字之指代作用》、《论“底”“地”之辨及“底”字的由来》、《与动词后“得”“与”“不”有关之词序问题》、《“个”字的应用范围，附论单位词前“一”字的脱落》、《把字用法的研究》等一系列语法论文。又在《开明书店二十周年纪念文集》上发表了《从主语宾语的分别谈国语句子的分析》一篇长文，对解放后的主宾语讨论有一定影响。
吕叔湘也很重视语言学的普及工作，写出大量的深入浅出、取材精当的文章。在《国文杂志》（桂林）上发表过《文言和白话》、《汉字和拼音字的比较》、《笔记文选读》（连载），在《中学生》上发表过《中国人学英语》（连载）。1944年由开明书店出版的《文言虚字》，选取最常用的二十多个文言虚字，条分缕析，详细举例，说明它们的意义和语法功能，并尽可能和现代汉语比较。解放后，此书由中国青年出版社印了13次，新知识出版社印了4次，上海教育出版社印了13次。
1946年，吕叔湘随金陵大学由四川返回南京，仍旧任该校中国文化研究员，同时兼中央大学中文系教授，又和朱自清、叶圣陶合作编写《开明文言读本》（计划编六册，只出了三册）。