从19世纪70年代初到90年代中后期，经过近30年的开创和经营，盛宣怀全部或部分控制了中国近代工业中的轮船、电报、钢铁、铁路、矿产、纺织、银行等16家比较大型的企业，成为中国近代办工业的先行者之一。但是当时中国的教育还是科举制度，学的是八股文章之学，根本不可能培养出懂近代科学技术和企业管理的人才。所以盛宣怀办企业之初，最感缺乏的是人才。怎么解决人才？在当时只有两条路：一是聘用外国人才，这在当时不但费用高，而且这些人都比较傲慢，难以与中国官员合作；另一个就是自己培养人才。
自己怎么样培养人才呢？在早期，他曾派人跟随聘用的洋技师学习，但学技术要有科学基础知识，如果对近代科学技术知识一无所知，跟随洋人也只能学个皮毛，根本学不到真正的技术。盛宣怀也曾派人出国留学，这当然是一个途径，但学成回国总要花几年时间，有时远水也解不了近渴。盛宣怀也根据不同的需要，办过短训班，这只能培养技术工人，还解决不了需要的专家级人才的问题。所以最后盛宣怀决定仿照外国的模式，在中国创办永久性的大学。
1895年盛宣怀在任天津海关道三年之后，在他的权力和经济实力允许的范围内，得到直隶总督王文韶的支持和批准，在天津创办了北洋大学堂，即现在天津大学的前身。
北洋大学堂创办之初，设立了大学本科四个班，大学预科四个班，每班30名学生，共有学生240人。学生除学外文外，主要学习理工方面的基础知识，如算术、地理、逻辑、物理、化学、机器制造和采矿等。这些基础课学完后，选择其中的30名优秀者，分为律例、矿务和制造三个专科，再分类学习，以培养专门的人才。1897年北洋铁路学堂合并于北洋大学堂，于是又增加了铁路一个专科。从上述北洋大学堂所学的课程和划分的专科看，它是中国近代的第一所工科大学，也是中国第一所近代的大学，因为它比京师大学堂，即现在北京大学的前身，开办的还早了两年多。当然，从今天的标准看，这所大学还是很不完备的，但是在当时，它确实是中国第一所系统传授和培养科学技术知识的新型大学，所以很值得纪念。
北洋大学堂的建立，对发展中国近代的高等教育影响深远，成为以后各地创办大学的范例。两江总督刘坤一要办大学，就是向盛宣怀索取北洋大学堂的全部章程，然后在此基础上加以修订的。
盛宣怀在办北洋大学堂时，制订了两条规则：一是学习必须循序渐进，由浅入深地学完所有课程，不得中途退学，也不允许学无次序，浅尝辄止。这是接受过去一些学习西方科学技术的学生，在学习过程中知难而退，结果没有学到什么东西而订的。二是学习外国语言文字只是一种工具，重点要放在学习专门的科学技术知识上。这也是接受过去清政府设立同文馆，学生只学习外国语言文字，不懂科学知识，因而用途不广的教训。所以当继任他为天津海关道的李少东，准备将60名学生，分别改学法、德、日等三国文字，而不再专门学习科学技术时，盛宣怀坚决予以反对。他认为，这是李少东根本不懂专门教育造成的。因为按各专科培养人才，每年的各科毕业生也只有数人，根本满足不了需要。现在一下都让学外语，必将使人才断档，造成不可弥补的损失。
北洋大学堂创办后，盛宣怀即卸任天津海关道，而长驻上海的铁路总公司，因而他对北洋大学堂过问的较少，而主要关注的是他随后在1896年于上海创办的南洋公学，它是现在上海交通大学的前身。
南洋公学创办的时候，其培养学生的方向就与北洋大学堂不同。北洋大学堂是工科为主，而南洋公学则设置了内政、外交和理财三科，是以文科为主。北洋大学堂的经费来源主要是公家拨款，而南洋公学则主要是商捐，即由招商局和电报局捐助，这样办学受政府的干预相对就小一些。
盛宣怀想把南洋公学办成以培养内政和外交等政治家为主的政治类型的大学，面向全国招生，毕业后使用也不拘于一省一地，这和盛宣怀当时在政治上正青云直上，从而想为自己培养一批得心应手的下属官吏是相一致的。
南洋公学最早开设的是师范院，它是在1897年考选比较优秀的40名学生的基础上开学的。这是我国近代史上第一所正规的师范学校，后来南洋公学的教师多来源此院。为了建立一所从小学、中学到大学的系统的完整教育体系，也为了给师范院的学生提供教学实习基地，盛宣怀在办师范院的同时，仿照日本师范学校有附属小学的办法，招收了120名10岁左右的儿童，另设一外院学堂，即小学校，由师范院学生分班教习。接着，又于1898年开办二等学堂，即中学。这样学生入校后，可以由小学、中学再升入大学，从而构成了一个完整的教育体制。这在中国近代教育史上，也属于首创。
这种从小学、中学到大学的培养体制，虽然比较系统和完善，培养的时间却相对较长。一个学生从入学到大学毕业，要花费十几年时间，当然不能满足盛宣怀当时迫切的人才需要。为了迅速培养自己的政治僚属，盛宣怀在筹建南洋公学的同时，还同时筹建达成馆，即速成培训班。他计划招收已有基础的成材之士，集中学习外语、法律、公法、政治和通商等课程，三年以后即可毕业，先到政府的有关机构中任事，经过一段实际锻炼，其成绩突出者，即可备选出使大臣、总署大臣等。他原来计划在北京和上海各设达成馆一所，均未能按期建成。到了1899年，才在上海开办了特班，也就是原来设想的达成馆。
盛宣怀筹办南洋公学的积极性很高，对之寄托的希望也很大。在徐家汇购地建校的地皮，是他慷慨解囊捐助的。常年经费是由他经营的招商局和电报局，每年捐10万两支持的。其它房舍、仪器、图书等设备的购置，乃至派遣学员出国留学的经费，他都一一过问，预先准备好钱，以不影响学堂的进展。南洋公学后来的发展及培养了一大批有用的人才，都和盛宣怀的积极关心和支持分不开。
南洋公学除设有师范院、外院（小学）、中院（中学）、上院（大学）和特班（速成班）外，还附设有译书院、东文学堂、商务学堂等。
译书院是公学的翻译出版机构。盛宣怀认为过去北京同文馆和上海制造局等处翻译的书，多为科学技术书，政治类的书籍较少。结合南洋公学主要是培养政治法律类人才的特点，把译书院翻译的重点，放在能反映西方新理新法的政治类图书上。他聘任当时的名学者张元济主持其事，广购日本和西方新出版的图书，还聘了一批外国人当翻译或顾问，在国内招聘了一批懂外文的留学回国人员为译员，开始进行有系统的翻译出版工作。此外，还向院外的翻译人员约稿，如严复所译的《原富》这部名著，就是向他约稿，由南洋公学译书院印刷出版的。译书院是1898年成立的，到1901年8月，译成之书已排印13种，译成尚未排印有15种。其中多数为军事方面的书，少数是关于政法、理财、商务、学校方面的书。这和盛宣怀的强兵求富思想有关，也与当时接二连三地遭到外国的军事侵略有关。1901年后，清朝被迫搞维新和立宪，译书院的翻译重点也转移到维新和立宪方面，翻译了不少日本、德国的有关政治和法律方面的书。但是这时袁世凯代李鸿章为直隶总督、北洋大臣。袁世凯于1903年迫使南洋公学改隶北洋大臣，因而造成译书院经费困难，不得不在当年停办。张元济将停办的译书院与沈瑞芳主办的商务印书局合并，成立了商务印书馆，将译书院的一些工作继续坚持了下来。译书院从成立到停办，仅四年多时间，就翻译出版了图书共13种40余部，不少书曾风行一时，对当时的政治和学术思想影响很大，对资产阶级民主思想的传播起了一定的作用。
为了培养翻译人才，盛宣怀于1901年创办了附属于南洋公学的东文学堂。首次招收了40名学生，专门学习日语。学堂聘张元济兼任主任，译书院翻译细田谦藏、稻新六为教员，可见它主要是为译书院培养翻译人才。它本来制定的学制为二年一期，但与译书院一样，改隶北洋大臣后，也因经费无着落，一年后即停办。
商务学堂1903年开办，以培养工商业方面的管理人才为主。这一方面是由于当时工商业发展的需要，另一方面也有抵制封建束缚和外国侵略的意向。盛宣怀在正式办商务学堂前，由于他很重视这一举措，已经做了一些准备工作。他与南洋公学掌管教务的提调刘树屏商量，计划先将尚未开班的上院先改为商务学堂，并对未来的毕业生出路，作了优先安排和保证。为了学习外国培养商务人才的经验，他还派南洋公学的监院福开森，赴欧美七国考察经验，甚至包括造屋的图样。为了事先准备好教材，他还请出国考察的大臣，为他注意收集和购买有关商学和商律方面的图书。后来因为南洋公学的校长劳乃宣，建议先缓办商务学堂，而将准备入学的学生派往海外留学，才暂时没有办成。到了1903年，在正式创办商务学堂时，为了说明它属于高等教育，盛宣怀建议在前面加上了“高等”二字。到了1904年，正式将南洋公学改为高等商务学堂，后来因改为隶属商部，又将校名改为南洋高等实业学堂。从此，它成为我国南方成立最早的一所工科大学。
盛宣怀办教育，除了北洋大学堂和南洋公学外，还办了不少其它的学堂。如1905年，因修卢汉铁路，需用法文人才，他曾创办了铁路法文速成学堂。1911年在上海吴淞又创办了商船学校，以后在宁波又办了分校。
在办学的过程中，盛宣怀为了培养高等的专业人才，他很重视从南洋公学的学生中，选其优秀者，送出国外留学。据统计，从1898到1906年期间，他主持派遣到美、英、德、日、比五国的留学生共有58人，这其中包括后来成为政治上风云人物的章宗祥、王宠惠、雷奋等人。他对派出的留学生要求很严，一定要他们学成归国服务，不准中途退学。如1903年广东总督岑春煊想调留学国外的陈锦涛，提前回国主持办学，盛宣怀以陈锦涛正在美国耶鲁大学读博士学位，一定要拿到学位后才能归国为由，拒绝了岑春煊的要求。