1826年，耶稣会在上海设立神学院，由晁德莅神父主持，开始收了11个初学修道的，其中9人是从徐汇公学毕业学生中选拔出来的，23岁的马相伯也进院专修士，穿上了修士的黑色制服，接受神修训练，每天除听讲关于精神进修和耶稣会历史的课程外，还被派出照顾病人，给垂死的人宣讲天主教义。耶稣会传教注重宣讲、著述和教育，神学院的修士，必须在文学方面再深造，马相伯研究了两年中国文学后，开始进修数理、哲学和神学，并学西洋数学中的代数、几何、三角。马相伯弄昏了头，就利用课余时间翻阅中国古代算术，但将中国算术中的赤方、王方等同西方的开方对照起来，也莫名其妙。为研究数学，他几乎发狂，在晚上睡觉时，仰天望着帐顶上，都会隐隐约约出现许多数学和公式，连做梦时，也发现四处都是数字和公式。功夫不负苦心人，马相伯终于融会贯通了中西数理。晁德莅神父看见马相伯课余时间，常闷着头翻中国古代算术有点不解，便问：“马生，为啥不复习数学功课，看这种闲书？”马相伯放下中国的《九章》书说：“我在寻找中西数理有无相通之处。”“哦，找到没有？”晁德莅感兴趣地问。“我发现中国的勾股，就是西洋数学中的微积分，而中国所谓‘方程’，就是西方数学中的比率。”马相伯一边说，一边在纸上写。他在研究时，如有心得和新发现，就做笔记，题为《数度大全》，共有120卷。“中国人早知道算圆周率的方法，并与西人的算术，不谋而合，西人算圆周率是3.1416，中国圆周率是22/7的得数与3.1416一样”。晁德莅点头称道：“中国人并不比西洋人笨，上帝也与你们中国人同在。”“中国人犯有一种毛病，对于无论那种学问，太不求甚解，许多西方发明的科学，在中国很早已经发现，可是说不了原因，也不肯探究其原因。”马相伯若有所思，在研究科学时，吸取这种教训，不研究明白，不见底不肯放手。
马相伯花了四年时间在大学院学哲学和神学。他31岁时，经过考试，得了神学博士学位，并授职司铎（神甫），他正式在学校读书的20年的生涯总算告终。马相伯考虑再三说：“学问社会，世界人类所共有，不必分中西以立异也，出处行藏，是人对于国家民族所独有，不能稍事通融。予立于泰西信仰社会，及种类学术之社会，尽彼所长，转授国人。此世界公共之学，从吾所好，与世界同此社会，即与世界同尽其能。故西人学位名位可受，西国官爵富贵不可受。谀西人而挟本国之富贵，更为可耻，前有洋奴，今有汉奸，君子不为。”外国教士看不起中国人，又嫉妒马相伯的才能，派他到徐州一个小镇教堂管理教务。1871年，徐州水灾，马相伯向长兄马建勋要了2000两白银救济灾民。这事被法国耶稣会教士知道后，认为未经教会同意，擅自使用银两，是犯了教规，将马相伯幽禁在上海耶稣会内“省过”，马相伯实在想不通：“周恤贫困，也是仰体上天好生之德，而尽了做人的本份。”马建勋因参赞李鸿章营幕戎要，因防御太平军有功，在淮军办理粮台，得知相伯弟被禁的消息后大怒，带了几十名兵卒，向教会问罪：“我用自己的钱救中国灾民与你们外国人有什么相干？”教士从没看见这阵势，吓落了魂灵三圣，只好放了马相伯。翌年，75岁的马松岩去世，马相伯悲痛万分，急告在天津随李鸿章办洋务的弟弟马建忠和在淮军办理粮台的长兄马建勋，兄弟三人按天主教会的规矩，为父亲举行葬礼。教会又派马相伯担任徐汇公学校长，兼管教务。他兢兢业业从事学校行政管理和教学安排，新生专读中文，旧生兼读法文，还要学习八股文，马相伯虽是神甫，但对学生讲授中国经、史、子、集诸文，却很深入，他亲自送学生去应童子试，在他校长任内，学生考中秀才的有60余人。教会又认为这样下去，怕他把学生变成异教徒（孔教），派他兼任耶稣会编撰，研究数学，马相伯原来很欢喜数学，虽然早年写的《度数大全》笔记已经散失，但他仍化费一年心血尽全力译著书籍百余卷，名为《数理大全》。因教会中一部分外籍教士不赞成，又没有人能鉴别他译著的好坏，故令将译著束之高阁，不予印发，译稿逐渐蠹坏。教会对他仍不放心，1875年不要他做校长，调派他专门研究天文，徐家汇只有一架明末利玛窦用过的天文仪器，无法进行研究。1876年教会又派他到南京，专任编撰，翻译数理诸书，马相伯很不耐烦，肚里转念，在徐家汇已译著有《数理大全》百余卷，不为我印行问世，再多译著又有什么用场？更使他不能忍受的是南京教会中的一个极龌龊的外国厨子，做的饭食简直不能下口，很不卫生。越想越气，马相伯就不辞而别，独自跑到上海，退出了耶稣会，不再做神甫，但仍信仰天主教。