广西大学即将筹办的消息对于省内数以万计的学子来说无异于久旱逢雨。筹备之初，委员会内部即在校址的选择上产生了分歧。有人提出新的大学应该选一处远离喧嚣闹市、山清水秀的地方，使学生们能够排除一切干扰静心读书。马君武指出，师资是教育质量的关键，新学校需要大量聘请各地的名教授前来执教。如果校址选在风景秀丽而交通不便的地方，外聘教授会有畏难情绪，况且学校所需的仪器、设备都要到外地购买，运输又将成为大问题。因此，他力主将新校址定在梧州的蝴蝶山。梧州水陆交通便利，每天都有轮船开往广州、香港，还有民航直达广州，如果聘请中山大学的教授来兼课，往返相当方便。筹备委员会经过再三考虑采纳了马君武的建议。
1928年10月10日，经过一段紧张的筹备工作，广西大学正式开学。马君武任校长，盘珠祁任副校长，校务长、教务长、总务长分别由白鹏飞、马名海、蒋继伊等担任。学校共有预科学生300余名。
粤桂战争爆发后，1929年6月，粤军占领梧州，学校被迫停办，马君武只好回到上海。1931年5月，马君武在粤军退出梧州后，回到广西继续办学。
1932年广西大学招收第一批本科学生40名。在10月10日的新生开学典礼上，马君武非常激动，发表了慷慨激昂、鼓舞人心的讲话：“现在广西终于有了自己的大学，我们不必去外省读书了。广西是个贫穷落后的省份，首先要办实用科学，所以设立理、工、农三个学院，明年起招收工、农两科的学生，培养建设广西、建设国家的人才。学校请来的老师都是全国知名的教授，希望第一届40名同学，勤奋读书，不要辜负广西父老的殷切厚望。我们提倡锄头主义来建设美好的校园，有了锄头主义才能有强健的体魄，才能担负建设广西的任务。”
多少年后，西大第一届毕业生回忆起当年的情景，仍然激动不已：“蝴蝶山的沟坎是我们填的，操场的土方是我们挖的，所有路旁的树木都是我们栽的，……将一座荒山建设成幽雅安静而又美丽的校园，这都是马校长精心策划的结果。”
马君武在校内发起锄头运动，要求学生拿起锄头参加建校劳动，一方面培养学生的吃苦耐劳精神，一方面使家境贫寒的学生通过劳动得到一点报酬，以补贴生活费用的不足。马君武认为，只有手、脑并用才能将广西大学的毕业生训练成为农民的领导者、工程的建设者。锄头运动得到了全校师生的拥护。
在学校院系的设置上，马君武煞费苦心。他将理学院分成数理、化学、生物三个系。农学院设农、林两系，工学院分设土木工程系、机械工程系和矿冶专修科。他本人亲自兼任工学院院长。
马君武大力聘请专家学者到西大执教。西大刚刚开办时仅聘请的教授就有13名，几乎都是留学海外的知名学者。在用人方面，马君武不拘一格，只要是有真才实学，愿意为西大服务的，一律破格提拔大胆使用。按照当时国内惯例，大学毕业生必须担任一定年限的助教并具备了相当教学与学术水平，才能晋升为讲师。马君武从中学教师暑期讲习班中选拔考试成绩优异的大学肄业的教师，来西大担任助教，并破格聘请中山大学的两位优秀毕业生来校任讲师。反之，对不安心本职工作，学生不满意的教师，则不管资历、学识如何，一旦聘期已满，则立即予以解聘。
两广事变时，马君武因公外出不在校内。当地人已经纷纷撤离，外省教师因交通断绝走不了。马君武接到消息后，兼程从广东赶回，一进校园，立即召开外省教师开会，以安定人心。在会上，他明确宣布，愿意留下的学校负责其生命财产安全；不愿意留下的明天一早学校安排船直航广州。马君武这种处处为教师同人着想、敢于承担责任的精神，令西大广大教师们深深为之感动。
靠外来人才毕竟不是长久之计，马君武知道，西大要想长远发展，彻底改变广西的落后面貌非得花大力气培养人才不可。他决定凡是在西大任教两年以上，工作成绩突出的中青年助教，学校都可以出资保送其到欧美留学深造三年。但是，留学者在出国之前必须和学校签订一份合同：留学期间照发原有薪水，同时还可以从学校借到与原有薪水数额相同的款项作为生活费用；归国后，必须回西大执教，并且在一定年限内还清借款。这些措施有力保障了保送青年教师出国深造的连续性，为西大、广西乃至全国培养了一大批优秀人才。
马君武非常重视培养学生的动手能力，他千方百计地将课堂教学与实践操作结合起来。为此，他不惜花费巨资充实图书馆和实验室。到1932年，西大仅用于购买理化仪器的资金即达到40万元。经过短短几年的积累，教学工厂和实验室内，摆满了各种精密仪器，机械系有各种车床、刨床、电焊机；电工系有各种电动机、变压器；矿冶系有矿物标本千余种，岩石标本几百种；农学系有容量测定器、稻米脱离机、碾米机、孵卵机等；生物系有德国制造的显微镜、实体显微镜、摄影机、各类切片机等；化学系拥有五百多种药品仪器。1934年马君武到欧洲考察，花重金从德国购买了六十多个白金坩埚和一个电解槽，为化学系的“武器库”增色不少。另外，马君武从全国各地选购了大量图书以充实西大图书馆。为了让学生们及时了解国内各研究领域的最新成果，西大图书馆专门从北京、上海等地订购大批的报纸、期刊和各种专业资料。康有为去世后，他的家人准备将其藏书出售，马君武得知这一消息后，立即派人前往，花了6 000余元将康的藏书收购。到1940年，西大图书馆馆藏图书已达到7.6万余册。
马君武对学生更是关爱有加。他在校内筹集“苦学基金”，用学校银行存款的利息和教职员自愿捐助的钱组成基金，用来鼓励成绩优秀而家境贫寒的学生。奖学金分为6个等级，各科平均在90分以上的同学，还可以免交全部学杂费、膳食费和书籍费。另外，还搞起了勤工俭学，在校内找些工作给贫苦学生做，以补贴生活费用之不足。