张元济出生于藏书世家。其六世祖张宗松等即以涉园藏书闻名，后递传至道光年间，因战乱敌佚。张元济自青年时就有继承先世遗业之志。经多年寻访，共搜集到原涉园藏书和刻书104种。1941年与叶景葵等创办合众图书馆时分别捐赠和寄藏这部分藏书以及他搜集到的嘉兴先哲遗书、海盐先哲遗书共935种。
1897年他在北京办通艺学堂，设书报借阅处，取名图书馆，留下现存最早使用图书馆名称的书面记录，其图书馆章程也为目前国内有关免费公开阅览和外界图书的最早记录。
张元济在商务印书馆任编译所所长时，为了保存、流传祖国的文化遗产和编泽工作的需要，不遗余力多方访求图书。他和同人一起从事编撰工作，手头缺乏参考书是一件苦恼的事，于是他开始筹建图书资料室，希望得到藏书家的善本。当年，传来绍兴徐氏容经斋藏书要出售的消息。经蔡元培的介绍，商务印书馆照单全收，把五十橱古籍买下来，作为资料室的第一批藏书。此后，张元济为商务收购旧书逐渐出名。1905年间，发生了一件令知识界和藏书家痛心的事。浙江归安（今湖州）陆氏宋楼，以收藏宋元刊本和名人手抄、手校之本闻名，为晚清四大藏书楼之一，宋，即二百部宋版书的意思。但楼主后代因事业遇阻，对家藏典籍也不甚了了；而日本汉籍目录学家岛田韩游历江南，数登宋楼，表示愿出高价收购。尽管商务总经理夏瑞芳答应拨出八万元购书——这时商务的资金总共才近百万元，但陆却没把这八万放在眼里。张元济进京，向政府提出拨款购买，官方对此竟置之不理。这样，在国人无能为力的情况下，陆氏藏书悉数运往东京。张元济后来“每一追思，为之心痛”。
从此张元济更致力于对古籍珍善本的收书、藏书和刊刻工作。1909年商务编译所图书资料室成立，起了一个古朴典雅的名字——涵芬楼。可惜，涵芬楼后来终为日寇炮火所毁，成为千古遗恨。
1932年1月28日深夜，上海炮声四起，日本侵略者突然侵犯闸北，中国守军奋起自卫。在隆隆的爆炸声中，当时的东方文化中心机关——商务印书馆陷入一片火海之中：建筑物被焚烧殆尽、书籍文献付之一炬……上海沦陷后，日军更是潜入商务印书馆的东方图书馆纵火焚烧，馆中30余年搜集所得的大量中外图书40余万册，包括无价之善本珍籍，全部化为灰烬。
“廿年心血成铢寸，一霎书林换劫灰。”面对商务印书馆的厄运，张元济悲愤异常。商务印书馆从此要消失了吗？他默默地问着自己。“不！”这位一生“以扶助教育为己任”的出版家发出了铿锵的回答，“平地尚可为山，况所覆者犹不止于一篑。设竟从此澌灭，未免太为日本人所轻。”他和同事们无奈但坚定地走上了重振商务印书馆之路。
1939年，叶景葵还邀请张元济和陈陶遗联名发起设立一所私立图书馆，将各自藏书捐入，作为馆藏的基础。叶景葵系浙江杭州人，比张元济年幼7岁，戊戌变法前就是通艺学堂的学生。他们志同道合，因而以合众为图书馆名。先是租赁了辣斐得路辣斐坊（今复兴中路复兴坊）一幢典型的上海新式里弄民居，同时购下蒲石路古拔路口（今长乐路富民路）一块空地建造馆舍，请著名建筑师陈植设计，于1941年9月落成。有了这些硬件，张元济和叶景葵又请从燕京大学图书馆专业毕业，学有专长且功底深厚的顾廷龙来主持日常工作。后来随着收藏水平不断提高，其社会名望也与日俱增。
合众创建之后，经费上始终不宽裕，创办时募集的款项也经不住恶性通货膨胀的吞噬，所以后来一直靠叶景葵向浙江兴业银行透支。1949年4月28日，叶景葵因心脏病去世，一时馆中经费无着。张元济去拜访一位纱业巨商，由他捐助了一笔款项，又维持了一段时期。年底，张元济中风，尚在昏迷之中，银行即通知停止透支。幸而陈叔通设法斡旋，才得以继续。1949年5月，国民党军队正准备撤离上海，一小股军人闯入图书馆，占用了办公室，大门前和屋顶上用沙袋堆筑公事，自称将在这里进行巷战。顾廷龙向他们说明这里是文化机关，队长蛮横地说：“现在还讲什么文化！”张元济闻讯后，立即到馆坐镇，与队长交涉后，张元济对顾廷龙说：“你放心，我看此人心不在焉，语无伦次，恐怕想溜。”
果然，当夜这支军队就开走了，图书馆安然无恙。
1953年6月，经董事会决议，合众图书馆捐献给上海市人民政府。捐献之日张元济十分兴奋，一早就给顾廷龙写信说：“今日为‘合众’结束之期。若干年来，弟尤得读书之乐，吾兄十余载之辛勤，不敢忘也。苦心孤诣，支持至今。揆翁有知，亦当铭感。”当时馆内藏书已达25万册，金石拓片15000种。市文化局接管后更名为上海市历史文献图书馆，最后并入了上海图书馆。
张元济在商务曾为整理出版及保存祖国文化遗产做了大量工作。他说过“睹乔木而思故家，考文献而爱旧邦”，他一方面感到欧风美雨的浸淫下，民族精神的丧失，又看到自咸丰、同治以来国内战争的破坏，古籍毁失甚多，再不抢救，祖国几千年的文化典籍将遭涅没。张元济首先影印出版了卷帙浩繁的《四部丛刊》。我国古代图书按经、史、子、集四部分类，凡为国家收藏者为“四库”，“四部”、“四库”都为我国古籍之总汇。《四库全书》首出于清代乾隆年间，由国家组织大量力量收集明代《永乐大典》以外之散篇遗籍而成我国历史上规模最大的一部丛书。张元济为收集古籍，于1904年始设涵芬楼，作为商务的藏书馆，1924年又建大楼改名东方图书馆。刊印《四部丛刊》是1919年旅欧回国的叶恭绰动议的，先于1922年出版，后又出续编、三编。这期间正逢1932年日本侵华的“一·二八”事变，设在上海宝山路的商务总厂及对面的东方图书馆被炸。张元济化了30年苦苦搜集的三十多万册珍贵图书毁于一旦，给出版工作带来重重困难。他激愤于日本对中国文化的摧残，加紧工作。《四部丛刊》于1934年出齐，计11921卷，3112册。对于重出《四库全书》，中华书局的陆费逵亦情有独钟，因其太高祖是这套全书的总校官，书成后在嘉兴甪里街建房藏四库的副本，然于太平天国时期毁于战火。陆费逵每读《四库总目》及记载先祖编校《四库全书》业迹的家谱，均“辄心向往之”，遂于1934年出版《四部备要》。中华为读者阅读方便起见，用聚珍宋版重新校对排印，《四部备要》在这方面又优于商务的影印本。此外还有商务的《百衲本二十四史》、《续古逸丛书》等古籍。中华出版《影印宋版二十四史》及重印清代《古今图书集成》。
张元济一贯热心搜集、保存、流传祖国的文化遗产。早在清末缪荃孙任江南图书馆馆长时（1907-1908年），他就曾向缪荃孙建议公立图书馆宜收集蕾本，以杜外流。1913年，当他得知北京发现的8册《永乐大典》有3册为外人购去时，急电北京友人，竭力设法截留。1937年，抗日战争爆发后，他在上海协助郑振铎等组织文献保存同志会，以抢救古籍。1949年以后，张元济的夙愿得以实现。1951年经他提议，商务印书馆董事会通过，将涵芬楼烬余的《永乐大典》21册捐献给国家。其余善本全部由文化部收购，转归北京图书馆收藏，1953年合众图书馆也捐献给政府。至此，张元济多年搜集、保存的珍贵文献全部归公，得到妥善地保管和利用。张元济精于目录、版本和校勘之学，他主编影印的《四部丛刊》、《百衲本二十四史》、《续古逸丛书》等都经过精心选择，详细校勘，所写题跋细密详实（见丛书）。有不少独到的见解，已出版《校史随笔》（1938）、《涉园序跋集录》（1957）。所编书目出版的有《宝礼堂宋本书录》（1939）、《涵芬楼烬余书录》（1951）。商务印书馆整理出版的张元济著作尚有《张元济诗文》（1986）、《张元济日记》、《张元济书札》（1981）、《张元济傅增湘论书尺牍》（1983）等。
1985年，浙江海盐县人民政府为纪念张元济对文化事业的贡献，将县图书馆扩建，命名为张元济图书馆。