山水画萌芽于晋代，从文献记载可得证明。唐张彦远《历代名画记》中记载了晋代画家画山水：顾恺之画《庐山会》、《荡舟》；夏侯瞻画《倕山》；戴逵画《吴中溪山邑居》，在山水画创始时期，他还是一个先驱者；戴逵儿子戴勃画《九州名山》、《风云水月》等等。还记载顾恺之所著《论画》：“凡画，人最难，次山水，次狗马”。把山水画排在第二位。并载了中国最早的山水画文献——顾恺之《画云台山记》，谈山水画构思、布局的文字稿。文字稿开宗就讲了画山应分前后左右，高低远近，而且还仔细地构思了云台山的东段、中段再画到后段，是幅长卷山水画。从以上文献记载可知，晋代画家画山水虽然还没有普通，但已有画家画出山水图，还懂得山水画都能置阵布局。说明了晋代山水画在萌芽在滋育。
山水画至南北朝，便逐渐地确立并成立独立画科。
晋南北朝士大夫所处的时代，正是封建地主阶级各集团之间长期斗争、分裂的时代。士大夫看不惯现实，许多人就做“隐逸”生活，游览山水。同时，在社会政治紊乱之际，老庄哲理内容的“道”又兴起。哲学上产生了玄学，文人士大夫不拘礼法，主张恢复自然，崇尚自然。他们“逍遥于天地之间，而心意自得”，他们越来越发现大自然一种超越世俗功利之外的“天人合一”的清新之美。所以晋、南北朝的山水诗文蔚然勃兴，留下无数隽永篇章，山水画也勃然兴起。南北朝的文人士大夫认识到：观山水画山水，能领悟虚无之道，能“以形媚道”，怡悦性情，使人“畅神”。这样就自然而然地把山水画从人物画的背景而发展成为独立的体裁，独立的画科。南北朝画家画出许多独立题材的山水图：如谢约画《大山图》；刘瑱画《吴中行舟》；张僧繇画《梁北郊》；毛惠秀画《剡中溪谷邨墟》；还有萧贲画山水于扇面中……
萧贲，字文奂。苏东坡曾见萧贲一帧画，写题跋：“萧贲，梁武帝时人，工画山水，遗迹罕睹。闻其落笔疏秀，格高声重。今睹斯帧，如读未见书，千古大快事也。”可见文人对他大赞美其实萧贲颇有文人气质。姚最说他：“雅性精密。”作画“学不为人，自娱而已”
这便是当时文人画的指导思想。他曾在扇上画山水，“咫尺之内，而瞻万里之遥。方寸之中，乃辨千寻之峻”（《读画品录》）。另外南朝出现中国最早的山水画论：宗炳撰《画山水序》、王微撰《叙画》，对山水画的理论与画法，开始阐微发奥。
宗炳、字少文，河南人。当局屡次征他当官，但不就。他性好玄理、琴书“好山水。西涉荆巫，南登衡岳”。并长期隐居衡山，后老病回江陵，将所见山水画于壁上。每天坐卧观看，自谓：“登怀观道，卧以游之”。并说：“抚琴动操，欲令众山皆响”。他总结山水画创作目的归结为“畅神”。要求达到内心的自然、平淡、和谐。
以上这些都可以说明，山水画在南北朝已渐渐地形成为独立的画科。比欧洲18世纪才兴起风景画早一千多年。