王尧臣还是中国历史上著名的图书分类编目家，他整理出来的书籍，为后人留下一份非常珍贵的历史遗产。
北宋以昭文、史馆、集贤为三馆。太平兴国三年（978年），在左升龙门东北建崇文院，称之为三馆新建的书院。端拱元年（988年），宋太宗赵光义诏示将三馆收藏的一万多卷图书，单独成立书库，名曰秘阁，以区别藏于宫中之籍，与三馆合称四馆。景柘元年（1034年），由于三馆及秘阁所藏书籍有谬误和失实，命张观、李淑、宋祁等人仔细校对，定其真史，删去伪谬，遗漏者给予补充。同时，又诏王尧臣及史馆检讨王洙、馆阁校勘欧阳修等校止条目，讨论撰改，最终收录书籍共有三万零六百六十九卷，分类编目，总成六十六卷。庆历元年（1041年）书成呈上，宋仁宗赐名《崇文总目》。这是北宋官修的第一部重要图书目录。由于载籍浩繁，漏失和相互抵触诚所难保，但数千年的著作之目，集中于此，百世而下，藉以检验存在和散失，辨别真伪，核考同异，当不失为富册之骊渊，艺林之玉圃。可惜其书散失过多，原本已失传，清代纂修《四库全书》时，据天一阁不完整的抄本，从《永乐大典》引文，仍得十分之三四，辑为十二卷。后来钱东垣、钱侗、金锡鬯、秦鉴等进一步辑释，编成五卷，补遗一卷，就是现在的通行本。时过境迁，仔细查阅，这里仍洒遍王尧臣等人的心血。
王尧臣的政绩，是得到仁宗赵祯的赞许的，因而赵祯时常表扬他。有几次王尧臣过生日，赵祯除送礼品庆贺外，还数次称王尧臣“才具之美，高映时髦，识业之明，坐陪国论”；“识裁精深，器怀冲劭”。嘉祜元年（1056年）八月二十一日，王尧臣因病薨于位，终年五十六岁。噩耗传来，赵祯悲痛万分，临丧，特停视朝一日，赠左仆射太常，谥“文安”。元丰三年（1080年），其子同老进遗稿论父功，宋神宗赵顼又加赠为太师、中书令，改谥“文忠”。嘉祜四年（1059年）四月十八日，改葬其曾祖父母于宋城（今河南商丘市南）平台乡石落原，王尧臣亦随同移葬于此，建碑书志。其铭曰：
王为祁人，遭乱不还，六世之祖，初留砀山，其后再迁，虞宋之间，遂安其居，葬不远卜。宋多名家，王实大族，族大而振，自公显闻。公初奋躬，以学以文，逢国多事，有劳有勤，利归于邦，‘怨不避身，帝识其忠，谓堪于弼。俾副枢机，出入惟密，遂参政事，实有谋谟，维中止之，不俾相予。帝有褒章，愍饰之赠，长于百寮，考德惟称，维古载功，在其庙器。今亦有铭，幽宫是阅（bì，音必）。《欧阳文忠公文集》卷32.对王尧臣的一生做出了较中肯的评价。