光绪二十七年（1901年）之后，他任工部尚书，兼任都察院左都御史、刑部尚书，巡视各地。认为“台纲久弛”，分别举优荐良，激浊扬清，上奏罢免了一批贪官污吏。例如“上谕”：“张百熙奏称升任御史陈璧才识犹长，明达至礼，前管理京师街道，时论翕然。去秋巡视中城，严缉盗贼，地方安绪，请嘉奖录用等语。陈璧办事认真，不辞劳怨，朝廷业经不次擢用，仍著传旨嘉奖。巡视东城广掌湖广道监察御史阎锡龄，习於寅缘，有亏名节；巡视南城，掌江西道监御史，郑炳麟，交接非人，颇滋物议，该尚书所请撤差查看，不足蔽辜，着即行革职。”
张百熙一生为官，清正廉明，在腐败的清廷官吏中可以说是出污泥而不染。《辛丑条约》后，在广东任学政的张百熙，受命调回北京，领主与陈夔龙、桂春、景丰共同承修跸路。后来陈夔龙在《梦蕉亭杂记》中记写了当时的情况：“逾年五月，和约签字，洋兵一律撤退，交还京师地面。适宜旨定期十月还宫。维时京城残破不堪，急须修理。企权大臣先期电奏请派大员承修跸路工程。行在枢府指定长沙张百熙尚书。长白桂侍郎春，奏请派充……张尚书一时不能赶到……工程浩大，估计实需土款约百万两……景侍郎狃于从前习惯，凡工程估定价目后，堂司各员例取二成节约经费，拟照前例……余不以为然，……侍郎意不悦，谓余有意与彼作梗。逢张尚书到京，颇以余所论为是，侍郎无如何，始允会同入奏立案。”张百熙逝世后，陈夔龙把这件事写进了挽联中，亟赞其廉洁：“同扫六街尘，记从车笠论交，正我留落中，君来岐下；大庇万间厦，共卜金鸥入相，惜神归衡岳，梦冷潇湘。”这种高洁的操守，在清时自上而下腐败的官场中实在是难能可贵，不多见的。
面临空前的民族灾难，清政府中官僚大量兼并土地，仅李鸿章一人就占地六十万余亩，骇人听闻。全国的地主、官僚也都兼并土地。内忧外患，风雨飘摇，民不聊生。张百熙为官一生，两袖清风，绝无私财。他逝世时，他在广东学政任内的门生关庚麟在挽诗的下篇写道：“忧国如家公志也，最痛萧条后事，家亦不足，国亦不足，来日大难将何如。”当时，他的门生捐集了大约七八千元，本打算为他铸造铜像立于大学堂内，因见百熙夫人景况不好，就赠给夫人作为生活费。关庚麟后移居香港，1958年戊戌，已是七十岁的老人，写了一首祭奠老师的诗：“甘石桥头老尚书，当时门下盛生徒。沈胡二李都尘土，犹有天寥德不孤。”可见，进步知识分子景仰他的高风亮节，他因此深得人心。
《辛丑条约》的签订，使中国政府完全丧失了主权，沦为帝国主义列强统治中国的工具，中国社会沦入半殖民地半封建的深渊，中国人民更加处在水深火热之中。清政府不得不打着“变法”的幌子。对人民作出一些让步，下诏求言。此时张百熙深受民主思想的影响，在他的思想发展的历程上有了重大的变化。在内政、外交改革方面提出了许多重要的主张。首抗疏陈大计五大端：增改官制，整理财政，变通科举，广建学堂，创立报馆。张百熙认为“我朝设官，大半沿前明数百年旧制……任官之法莫不善于一事分任诸人，莫不善于一人普任各事”，指出“此处掌刑者，他处类以治赋，弊不可胜言也。”指出贪污腐败的弊端首先在官制不妥。面对帝国主义列强的侵略，清政府无能的外交，提出建立“外部”。他认为发展经济应该从中国的实际出发，不可照搬西方国家的法则。“至于内外一切商务，宜专设商部，以总其成。更须参考西书，酌伴中国商情定为商律。”他高度重视人才培养，提出“废除科举，兴办学堂，教育兴国”，“至于学校一门，尤关重要。今日礼部所司，仅稽核成案，例行支书而已。若仪京师暨各省广设学堂，则于洋定章程，广筹经费，暨编辑教科新书等事，均非设立专部不足以事创举而真才，应增设学部”。这是我国教育史上设立专门教育机构的首倡。
他高度同情农民的疾苦，高度重视农业的发展，提出“至于农政切于民生，亦为当务之急。拟请推广各省农政局，归户部管理”，“财政则议加进口税，整顿圈法，推广银行，讲求矿务，通行钞票，由部鼓银圆。”无疑在财政金融方面，也有他自己的见解。而为国育才是他一贯的思想主张，在这份奏疏中他提出了“变科举……广建学堂，则议创小学、中学、大学及资遣游学生出洋，习专门之业”。
基于他的民主思想，提出“议开办官报，编定报律，分设译书等局。”这对于国人解放思想、注重信息传播、开阔眼界是大有好处的。尤其值得注意的是张百熙爱国主义思想在这份奏疏中得到更加集中的体现，他从国家民族利益出发，维护国家主权，提出具体措置的方法：“虑失权利，宜筹抵制补救之法：曰洋关进口税，宜示区别；曰无益民货物，宜议重征；曰进口食物无税，宜限制；曰铁路矿产，宜准今外合办；曰养游民，宜广兴工艺；曰机器制造货物厂，宜定洋章；曰通商税，我宜有自主之权；曰内地商埠，宜由我管辖；曰我国商贷出洋，宜一体优待。”可以看出，他在内政外交方面的诸多见解，即使在今天也仍然光彩夺目。
商埠是外国资本主义在中国倾销商品的据点，阻遏了中国民族工业的发展，也是掠夺中国农业、矿业和手工产品的聚集地，是外国资本主义经济侵略、对华输出资本的基础。光绪帝力主“新政”，实行变法，与他维新自强的愿望，为国为民的忧思比较一致的。因而张百熙上书是对光绪帝的一种支持，是对出卖主权的西太后、洋务派的打击，也是对清政府的一种警示。这不仅需要见识，而且更需要胆量和勇气。张百熙最后说道：“今日国是如斯，欲济时艰，振全局，又不仅在条目而在本原。区画既定，诸事待行。其本尤在上下一心，内外一心，庶几无事则一德以图自强，有事则同力以御外侮。”
张百熙存在历史和阶级的局限，不可能认识到清政府的本质，但是，他已经看到大厦将倾，没有回天之术了。后来他在一封家书中写道：“熙窃高位无补时艰，久欲寻找遂初，而东事未平，抗陈无术，贻识愈浅，抱愧深之。”他对清廷内部的倾轧、矛盾斗争看得十分清楚，“本原”不改，无力回天。但是，即便如此，张百熙也未停止他的追求，期望“作育人才，端在明修学术”。
他在晚年为重建京师大学堂付出了全部心血。1901年十二月，张百熙充任管学大臣。“于是海内欣然望兴学矣。”他“悉心考察，夙夜构思，一面查看现在情形，一面预筹将来”，思忖如何恢复，发展京师大学堂，张百熙拟定《京师大学堂章程》等六件学堂章程，奏清政府公布于世，称111为《钦定学堂章程》，因1902年是农历壬寅年，故又称为“壬寅学制”，这是我国第一个以政府名义颁布的学制，“教育之有系统自此始”。《京师大学堂章程》规定“京师大学堂之设，所以激发忠爱，开通智慧，振兴实业”；“端正趋向，造就通才，为全学之纲领。”这也是中国第一个明确的大学宗旨。《章程》对大学堂的办学纲领、科系设置、课程安排、规章制度、管理体制、教师聘用等方面都作了详细具体的规定。“此次奉旨切实举办，自应破除积习，不拘成例用人”，要选用“才具优长，通达时务”、“明练安详，学有根底”的人为大学堂教师，体现了他变法自强、擢用人才的一贯主张。《章程》还规定对教师采用聘用制，并与被聘者签定合同，规定“西教习不得在学堂中传习教规”。
张百熙认为大学堂总教习“必得德望具备、品学兼优之人，方足以膺此选”，因而举荐桐城派领袖吴汝纶。认为吴汝纶“学问纯粹、时事洞明，淹贯古今，详悉中外”，堪充此任，竟穿着大礼服长跪不起，说“吾为全国求师，当全国生徒拜请也，先生不出，如中国何！”并“奏加冀州知州吴汝纶五品卿衔，总教习大学”。张百熙这种锐意兴学、选用人才之举，深深打动当时的有识之士，当时海内知名人士、如杨仁山、屠敬山、王瑶舟、严复、孙诒让、蔡元培均在被聘之列，可以说当时的名家学者，都在他网罗之中，有识之士，竞相门下。张百熙不徇私情，为国擢才、育才，即使在今天也是值得称道的。张百熙受命管学大臣之后，认为“现在时势，非开道不能自立，亦不足有为”。他锐意改革，“深悉唐虞三代古世所以致太平极治之规，又亲见欧美日本诸都，所以变通兴盛之故”，认为“古今中外，学术不同，其所以致用之途则一，值智力并世之争，朝廷以更新之故而求之人才，以求才之故而本之学校，则不能不节取欧美日之成法，以佐我国二千余年旧制，固时势使然。”（张百熙《进呈学堂章程折》）
他认为要培养有用之才，就不能用封建主义的东西充斥学堂的教学内容，也不能采取经院式的教学方式。植育人才，虽不能丢掉中华民族的古国文明，也不能拒西方科学于门外。他借鉴了美国耶鲁大学、哥伦比亚大学和宾夕法尼亚大学等十几所学校的课程设置，大大地增设自然科学学科，适当地保留了经学课一些内容，贯通中西。主张学生“研讨学说，质疑所难”，并奏请送大学堂学生47人出西洋东洋留学，张百熙亲自到前门火车站送行，这就是我国历史上第一次由大学派遣留学生。
历史上的一切改革者从来都是举步维艰的。正当张百熙意气风发、雄心勃勃之际，顽固守旧派，皆不善百熙所为，“阻力纷起”，意识到张百熙淹贯中西、传播四方民主思想的举措，将会使国人观念发生重大的变化，十分不利于清政府的封建统治。于是造谣诽谤张百熙。《清史稿·张百熙传》载“大学既负时谤，言官奏称本朝定制，部官大率满、汉相维，请更设满大臣主教事，乃增荣庆为管学大臣。旋别设学务处，以张亨嘉为大学总监督，百熙权益分”。荣庆只是西太后的忠实之徒，顽固维护封建纲常。“百熙一意更新，荣庆时以旧学调济之。”最终，张百熙被排挤出去。