1907年，张之洞调任军机大臣，他将浙江和江苏的一些私人藏书较多的书斋的善本均购买了下来，筹建京师图书馆。要建国家的图书馆，地方上自然是支持的，比如江苏常熟的一个姓瞿的藏书楼，便将自己家所有的藏书抄了副本，而将原本献给了国家。
到了宣统元年，即1909年9月初，张之洞所辖的学部上了一个关于《筹建京师图书馆折》，9月9日被奏准兴建京师图书馆。清政府任命了缪荃孙为监督，徐坊为副监督，杨熊祥为提调，设馆于什刹海广化寺。经过修饰，1910年，京师图书馆整饬完毕，这便是为北京图书馆前身。京师图书馆初建时，所藏图书取自国子监南学和内阁大库，包括明代皇家图书馆文渊阁藏书和南宋辑熙殿珍本，还采进敦煌石室所藏唐人写经本八千卷以及一些著名私家藏书，总计不到10万册。
辛亥革命后，中华民国建立，从南京到北京，绍兴人蔡元培两次被任命为教育总长。蔡元培于1912年5月任命江瀚为京师图书馆馆长，馆址仍为广化寺。8月27日，京师图书馆正式开馆，开始接待读者。
查鲁迅日记可知，8月22日，鲁迅刚接到教育佥事的任命书。这期间，他正主持设计中华民国的国徽。直到1913年，原京师图书馆馆长江瀚升迁到一个肥差，四川盐运使。于是，馆长一职由教育部社会教育司司长夏曾祐兼任。既然鲁迅是第一科科长，那么自然而然地，关于图书馆的诸多事宜要由他亲自督办了。查鲁迅日记便可知，1913年2月17日，鲁迅写道：“午后同沈商耆赴图书馆访江叔海问交代日期”。江叔海自然是江瀚，要去四川发财的仁兄，接下来的日记还有，3月6日，鲁迅写道：“下午同沈商耆往夏司长家。”3月7日，鲁迅又写道：“午后同沈商耆赴图书馆商交代事务。”
这便是图书馆交接的过程。
京师图书馆地址颇为偏僻，而且房屋也颇旧。阴雨天气，甚至部门房屋还漏水，自然不适合那些珍本的图书存放，鲁迅有一次下雨天往图书馆去，十分不方便。于是建议图书馆搬迁。
《鲁迅日记》1913年4月1日记：“晴。午后同夏司长、齐寿山、戴芦舲赴前青厂，观图书分馆新赁房屋。”在此后的一年多时间中，仅《鲁迅日记》中记载，他莅临分馆即达12次之多，差不多一月一次。
后来，经教育部批准，在另觅新馆址的同时，设分馆于宣武门外前青厂，1914年分馆迁至前青厂西口永光寺街。10月，京师图书馆停止阅览，暂时由广化寺移至国子监。1915年，确定以安定门内方家胡同国子监南学旧址为京师图书馆。1917年1月26日，京师图书馆在方家胡同重新开放，鲁迅与教育部部分同仁出席了开馆活动并留影纪念。此时的京师图书馆已粗具近代图书馆的规模。
京师图书馆的分馆开馆之后后，鲁迅并不满足，他认为通俗教育能开启民智，又与社会教育司二科通力合作，指导创办了京师通俗图书馆。鲁迅特别指出：“通俗教育以启发一般人民普通必须之知识为主，故通俗图书馆之设，实关紧要，其中所采集的图书要以人民所必须且易晓者为宜。”1913年10月21日京师通俗图书馆在抄手胡同开馆，鲁迅参加了开馆庆典。当天的《鲁迅日记》中记载：“午后，通俗图书馆开馆，赴之。”
主管图书馆和美术馆的鲁迅先生，在京师图书馆开馆之初，还真是做了不少的工作。1912年秋天，鲁迅便以教育部的名义咨调各省官书局所刻书籍入藏京师图书馆。1913年，鲁迅将一部铜活字版大型类书《古今图书集成》拨予京师图书馆。1916年4月，教育部社会教育司通过政事堂取得内政部同意，明文规定，凡经内务部立案的出版物均须分送京师图书馆一份存档。这一点像极了现在国家版本图书馆，同时，这也标志着京师图书馆开始履行国家图书馆的重要职能，不论任何类别的印刷出版物，必须要到京师图书馆存档一份，以备阅读者查看。同年，鲁迅又为京师图书馆征取各省区最新修刊的志书，征求各种著名碑碣石刻拓本。《永乐大典》（残本）和文津阁《四库全书》也是经鲁迅据理力争，于1915年移藏京师图书馆的。
1914年初，热河避暑山庄所藏文津阁《四库全书》运抵北京，鲁迅赶赴北大接洽联系，却不料此书为内务部截留。经过多方交涉，1915年9月1日，鲁迅“同戴芦舲往内务部协议移交《四库全书》办法”。10月12日，移《四库全书》入京师图书馆告成。然而，《藏书简明目录》却被内务部给扣下了，仍“发古物陈列所保存”。这可真麻烦，没有了索引，这就意味要查阅《四库全书》，那么对不起，你要先去古物陈列所（相当于现在的博物馆）一趟，查过书目后才到图书馆按图索骥。
1915年7月，教育部决定将京师图书馆迁至位于安定门内方家胡同的国子监南学。正是因为图书馆的新直落定，并马上要建好的缘故吧。鲁迅才开始去内务部交涉《四库全书》的事情。8月30日，教育部给鲁迅开具了一个前去内务部索要典籍的介绍信，内容如下：“兹派佥事周树人、主事戴克让于9月1日午后2时前赴贵部商定一切手续，即希查照为荷。”
这一下方办妥此事。
1916年，鲁迅的上司夏曾祐调任京师图书馆馆长，1917年1月26日，鲁迅被邀请参加京师图书馆开馆式。他日记里写道：“上午赴京师图书馆开馆式。”
方家胡同的国家图书馆对读者开放达十一年之久，1928年，民国政府定都南京，北京改称北平，馆舍更名国立北平图书馆，再次搬迁至中南海居仁堂。居仁堂原名海晏堂，是慈禧时仿长春园中海晏堂所建，是一组仿西洋楼式的建筑群，专为接待宴请外国女宾之用。辛亥革命后，袁世凯将其改名居仁堂，并在殿内接受百官朝贺，做登基准备。后冯国璋、曹锟等执政时都曾在此居住办公。1928年后，中南海改为公园，对公众开放，居仁堂成为图书馆的新馆址。1929年1月10日举行新馆开馆典礼。