1935年冬天，张伯苓到四川游历，见到蜀中真乃天府之国，人文荟萃，物产丰饶，于是产生了在四川省建立南开分校之意。张伯苓又看到当时的华北局势日趋紧张，认为应早做准备，为未来后撤时留有回旋余地。
1936年春，张伯苓派中学部主任喻传鉴到四川，视察四川省教育。4月，在重庆沙坪坝购地八百亩，随即破土动工。8月，一部分校舍竣工，招录新生二百余人，9月正式开学，定名为南渝中学。当时一般社会人士莫不惊奇于建校之神速。
1937年7月7日，日本侵略者仍沿用其一贯的侵略伎俩，挑起了卢沟桥事变，7月28日，战祸延及天津。在前一天下午，有日本军车一辆，满载日寇侵略军，自津南驶来，到八里台南大校门刹车，几个日本兵把校门外悬挂的抗日标语牌用军刀砍下来拿走，临上车时又大声嗥叫，还有一个日本兵从车上扔到校内一支枪，然后狂傲地乘车散去。当时张伯苓在南京，校内各部负责人见日本侵略兵来意不善，情势危急，时值暑假期间，校内仅少数住校生，还有部分教职员及其家属。学校紧急通知，限他们要在当晚前离开学校，迁往安全住处。学校虽已早在迁移，这时尚有部分图书仪器未及迁出，乃紧急转移。28日凌晨，日寇果然在津发动了事变，由28日午夜到29日，日寇从海光寺兵营用密集的炮火轰击南开大学，彻夜未停。第二天寇机又来投掷大批炸弹，之后，有军车开进学校，将未炸平的楼房泼油纵火烧毁。中学部也遭到同样的厄运。事后查明：大学部的秀山堂、木斋图书馆、芝琴楼女生宿舍、单身教授的宿舍楼和大部分平房，均被夷为平地。中学部的西楼、南楼和小学部的教室楼，也化为一片废墟。大学校内有大钟寺赠送的一口大钟，重18000斤，钟面镌有全部金刚经，是罕见的一件历史文物，也被日寇拉走，熔做枪炮子弹，用来屠杀中国人民。当日，日本特务还率领几个朝鲜浪人到张伯苓家捉人，且幸家人已事先撤离，特务们只把未搬走的衣物抢掠而去。这时，张伯苓还在南京，惊闻南开四部校舍被毁，异常愤怒，念及四十年来惨淡经营，一草一木，莫非亲手建树，今朝日寇入侵，全部化为灰烬，不禁悲从中来。当时他坚毅地说：“我深信中华民族是不会灭亡的。南开学校是为复兴祖国而产生，必须遭到日寇所嫉恨，其被炸、被烧，固意料中事耳，只要中华民族存在，南开也必存在！我们继续努力吧！”
张伯苓的精诚感动了当时的社会人士，于是，大家都争先恐后地为重庆南渝中学捐款，在很短的时期内添建了南渝校舍，学生名额迅速增加到一千五百多人。为了保存南开的传统精神，并符合各方人士和南开校友的心愿，重庆南渝中学改名为重庆南开中学。这个南开中学，成了战争时期中国学校的典范，它是战后中国复兴的象征。那时，所有到重庆来的国外人士都争先参观重庆南开，慕名拜访张伯苓校长。
抗战期间，张伯苓在重庆专心致力于南开中学的建设。几年的工夫，他把沙坪坝八百亩荒地建成为一座大花园。他修建的计有：教室楼二，图书馆一，男生宿舍三，女生宿舍一，其余如医院、饭厅、浴室以及教职员工住宅等等，样样齐备。另外，他还依山地起伏，开辟了一座雄伟宽阔的运动场，两旁砌有石看台，坡下凿有养鱼池，环绕池边，遍植腊梅和栀子花，阵阵清香，熏人欲醉。图书馆前，一片青翠的柏树。外来参观的客人无不惊奇道：“沙坪坝变了，南开学校焕然新貌，张伯苓真是一个魔术师啊！”张伯苓听了微笑着说：“不是魔术师，我是一个不倒翁，日本人把我打倒了，我随手又起来了，而且，今天我在建设一个雄伟壮丽的教育基地。”但是，日本侵略者对于这个民族教育基地，更加嫉恨，愈呈凶残，于1940年8月间，又以几十架寇机，围绕着这个毫无军事设施的教育基地，投下了大批巨型炸弹。日机撤离后，南开学校的损失虽很严重，但张伯苓毫不在意，立刻派工整修，迅即复原，学校课业依然照常进行。当时，有人忧心如焚地说：“日机若再来轰炸，怎么办！”张伯苓坚毅地说：“再炸再修！”张伯苓的确是个不倒翁。
在南开学校建立初期，张伯苓为矫“五病”、树新风制定了五项教育方针。但时代在向前进展，张伯苓的教育思想，也是随时代之进展而进展的，他的五项教育方针现已进入“公能教育”时期了。他在重庆南开中学运动场坡地上，用绿色的冬青草植成两行标语，即“允公允能”、“日新月异”。这就是南开的校训。
为了赶上时代和跨过时代，张伯苓又在大学部成立了经济研究所和各种理工研究所，号召学生向世界科学文化新的高峰进军。要求学生一天天在变，一天天在长，使每个学生亲眼看到南开学校也在时时变，天天在向前发展。
张伯苓极其重视环境教育，他认为清洁整齐，生活有规律，事事有条理，这些对学生都能收到潜移默化之功。在张伯苓指导下，不论是在大中女小各部，也不论是在天津或重庆，学校里随时随地地保持着清洁整齐，秩序井然。因此，所有在校学生、教职员工们，都是精神勃勃的。南开学校是私立的，一切经费和建设维护都依仗募捐来维持，所以平日对校舍的保护和维修特别注意，年年粉饰油刷，即或一块窗纱，一片玻璃，也是随破随修，地上也很少看到碎木板、烂砖瓦，使人踏入南开校门便感到气象清新，生机盎然。
张伯苓平日最注意培植后进，选拔人才，不论谁有一点儿长处，他都要尽力奖掖，给以发展的机会。张伯苓的一生，不论对人对事，都着眼在明朗面上，这是一个教育家特有的性格。人们见了他，总要亲热地叫一声“老校长”，这是人们乐于受教的表现。