马相伯的教育思想精粹，在他于1935年95岁时发表的文章《从震旦到复旦》中，归纳为“以下数种信条：一是不谈教理；二是注重文艺；三是崇尚科学”。
振兴中国办教育
马相伯本人是一位真诚的、人格高尚的宗教家，他维护宗教信仰自由，不受政治干涉，他赞成广大人群“信仰‘无邪术害人’的宗教”。他认为：“神学为我们宗教徒必修的科学，而且为最高的学问。”他本人就是神学博士。但是，他指出，“神学的对象为第一原理，为造物主，其最终解答为不可知”，而他面对的时势，却是“我中国其危急存亡之秋乎：各国乘我中国之罢敝，夺我疆土，凌我黎民，占我政府，拒我使臣，国耻孰甚！”他办学的动因在于“慨自清廷外交凌替，一不知公法，二不习制造，入手工夫则文字尚无”，因此，当务之急是教育救国！因而他确定的办学方针是“广延通儒治泰西士大夫之学”，而不是神学。是“俾吾国有志之士得以研究泰西高尚诸学术，由浅入深，行远自迩，内之以修国民之资格，外之以栽成有用之人才”。他认为，“文化之发皇也，不于其茁芽之地，而于其移殖之地”。中国有过光荣的历史，“四千六百年中，年表同时代，幅员同广袤，政治同开一统，文治又同冠千古于古三大部洲者，非西汉与西罗马欤？”但当今中国落后了，“处积弱之地，矇聩闭塞，于斯为盛……乃欲发聋振聩，力图自强”，必须“治泰西士大夫之学”，“沟通泰西学术之源流”，引进和移殖泰西各国的近代政治哲学和科学技术，“以光荣其祖国”，“以金碧辉煌我国土”。既然旨在教育救国，所以“不谈教理”。这便是马相伯从创办震旦到创办复旦所一再坚持的基本原则，也是这位有着深厚的宗教信仰背景的老教育家极为光辉的爱国主义教育思想。
马相伯指出，泰西士大夫之学“分文学、质学（日本名之曰科学）两科”。1903年，他为震旦学院制定的文学课程包括正课三种：古文（如希腊、拉丁文文字），今文（如英吉利、德意志、法兰西、意大利文字）和哲学（论理学、伦理学、性理学），包括附课三种：历史、舆地和政治（社会、财政、公法）。可见，他所指的“文学”或“文艺”，即人文科学和社会科学。为什么要重视泰西语言文字的学习呢？其中一大原因是“泰西科学制造，时有新知，不识其文，末由取益，必至彼已累变，我尚懵然；劣败之忧，甚为可惧”。他规定，学院采“法国哲学大家笛卡尔之教授法，以国语讲，随授随译，译成即可为他校课本”。为了使年轻的通儒（秀才、举人）经过“议定急就办法”，迅速培养成为中国议会政治的治国人才，他提倡学生多上台演讲，“以便习练语言，磨砺识力”。因为“中国将行立宪，此后中央政府、地方自治皆有聚集会议之事，其聚散之仪文，辩论之学术，诸生允宜亟讲！”他反对八股取士的“奴隶之学”，鼓励学生“开宗明义，力求自主”，“有坚忍不拔之气，强立不返之志，旦而矢之则万变不离”，才能成为治国人才。
马相伯以物理学、化学、象数学为“质学正课”，动物学、植物学、地质学、农圃学、卫生学、薄记学以及图绘、乐歌、体操为“附课”。他指出要发展实业，必须“热心中国科学运动”，因为“科学制器，利用厚生”，有利于政府“用国货、造国防”，人民“按科学造食、用所需”。他推崇明人徐光启“从西洋人利玛窦学天文、历算、火器，尽其术”，“督修历法，参用西洋新法，此科学在中国第一次之大贡献”。可惜其后三百年，中国丧失了发展科学的机遇，而今更为迫切要习泰西科学。他特别指出，为了培养中国科学建国的人才，必须爱护儿童的好奇心和好动的倾向，以及时时发问的兴趣，要十分小心地培养儿童的幻想力，利用他们这种幻想力发展他们创造的天才，因为富于幻想力的儿童便是他的天才之萌芽。
倡导教育改革
传教、从政都不能使马相伯的救国理想得以实现。于是，他开始认为救国方策便是“根本改革教育制度”。当年游历欧美，颇有创设与欧美大学并驾齐驱之中国新型高等教育以救国之豪气。后因变法失败，政局动荡，自己又年老体衰而作罢，但其兴学育才的念头一直没有息。1900年，马相伯立下捐献家产兴学字据，将祖传遗产——松江、青浦良田三千亩，捐献给天主教耶稣会“江南司教日后所开中西大学堂收管，专为资助英俊子弟斧资所不及”，期待能“托耶稣会团体，以期长久”。
马相伯自幼就读于私塾，对传统教育之弊端深恶痛绝，而教会学校却在某种程度上将他领入了科学的殿堂。所以，当他想兴校办学，又感到“个人之建设，势不能久”时，便自然而然地想依托教会之力量来完成这种心愿。但是，耶稣会接受了财产，却未办学。此时，先有梁启超，后有蔡元培“以求西学必先通其语言文字，而西人教会学校及国人自办之学校，但为蒙童所设……不合成年人求学之用”的原因，向马相伯学习拉丁语。后来胡敦复、贝寿同等也参加进来。马相伯受他们的鼓励和支持，又目睹许多青年求学无门，毅然以花甲之岁、衰弱多病之体挺身而出，担起了兴学育才以图强国救国的重担，于1903年春创办震旦学院。当时远在日本的梁启超盛赞道：“吾今乃始见我国得一完备有条理之私立学校，吾喜欲狂。”
震旦初创时，一无校舍，二无师资。马相伯凭自己与法国天主教会之渊源，借徐家汇天文台之余屋为校舍，又以私谊，聘数位耶稣会教士义务任教，教习各国语言。马相伯自任校长。虽然办学在很大程度上是借助于教会的力量，但从办学动机到办学宗旨，马相伯均明确是为中国培养传播西学的人才而不是为教会培养信徒。他说：“慨自清廷外交凌替，一不知公法，二不习制造，人手工夫则文字尚无。……故设震旦。……无他，为科学等根本故。”他毅然宣布了三条办学信条：“一、崇尚科学；二、注重文艺；三、不谈教理。”人院学生远至川、滇、晋、陕，于右任、邵力子、胡敦复、贝寿同、项微尘、马君武等均为当时学生。1905年，法国天主教会某些人见震旦学院声誉日著，阴谋夺取震旦学院的领导权。他们强迫马相伯“住院养病”，任命法国神父南从周管理学校。“南公尽改旧章”，加强宗教宣传，企图改变学校性质，把学校变成法国帝国主义控制下的教会学校，“学生抗不从命”，全体学生集体退学。132名学生中签名退学者达130人。马相伯毅然支持学生的爱国主义行动，辞职离校。震旦学生的退学行动，是为抵制外国传教士的侵夺，捍卫国家教育主权，在中国近代教育史上，实属创举。至此，马相伯想依靠教会的力量办中国新型大学，培养新型人才以强国救国的幻想破灭了。
震旦学院停办后不久，马相伯即召集离校学生商议复校办法，推定于右任、叶仲裕、邵力子等人协助他筹办复校事宜。社会各界人士对震旦师生深表同情，通过各种途径给予援助。两江总督南洋大臣周馥将吴淞提镇行辕借给他们做临时校舍，并拨发一万两银子作为学校开办经费。他们还聘社会名流严复、曾铸、萨镇冰、熊季廉、袁观澜、狄葆贤等28人为校董，协助募集学校基金，共同管理学校。在由严复领衔的《复旦公学募捐公启》中开宗明义地指出：“以中国处今日时势，有所谓生死问题者，其惟兴学乎。问吾种之何由强立？曰惟兴学问。民生之何以发舒，曰惟兴学问。”教育救国之观念更为坚定突出。为与法国天主教会盗用震旦之名的卑劣行径针锋相对，登报宣称“更名复旦公学”。复旦者，隐含恢复震旦之情，又具复兴中华之意，是一个迫不得已又寓意深远的命名。1905年9月14日（阴历八月十六日），复旦公学在马相伯、严复、熊季廉、袁观澜及全体学生的努力下，正式开学。马相伯被公推为第一任校长。从1905年到1911年的7年中，复旦公学培养出四届高等正科毕业生共57人。其中不少人后来成为著名的政治家、教育家、科学家和工程技术人员，如张大椿、胡敦复、于右任、邵力子、陈寅恪、竺可桢等。
辛亥革命后，复旦由公立转为私立。复旦公学改为复旦学院，拟建成哲理、文学、政治、象数、理化各科大学。马相伯感叹说：“民国光复，吾复旦亦光复矣。吾十余年来所梦想共和政府下的学校，今始遂愿矣。”此即复旦大学之前身。今天，复旦大学已成为中国高等教育界东南学府之重镇，并以其治学严谨、学科齐全、师资雄厚而逐步发展成为一所在国际上有影响的学术中心，这与当时的创始人不懈努力、惨淡经营是分不开的。可以这么说，没有马相伯，就没有今日之复旦大学。