2008年北京奥申委在《申办奥运会知识读本》中这样介绍张伯苓：“一九0七年十月二十四日，中国教育家、体育家张伯苓在天津青年会第五届学校运动会的演说中建议，中国要加紧准备，争取早日参与奥运。一九0八年，张伯苓赴欧美考察，观看了伦敦第四届奥运会盛况。回国后，他便以南开为基地，开始在中国大力宣传奥运，为中国早日加入奥运大家庭四处奔走。”
中国加入奥运的首倡者
1896年，第一届奥林匹克运动会在雅典成功举行。20世纪初，随着西方近代体育渐入中国，张伯苓通过天津基督教青年会第一次听说了奥林匹克运动，表现出极大的兴趣。1904年，第三届奥运会在美国圣路易举行后，最先得到信息的青年会美国体育干事向张伯苓介绍了奥运会的盛况，由此引起张伯苓对奥运会的关注。
据1908年英文版的《Tiantsin Young Men》记载，1907年10月24日，在天津基督教青年会礼堂举行了第五届联合运动会闭幕典礼和颁奖仪式，“普通学校对运动项目是很感兴趣的，运动场这几天热火朝天，许多人出来训练，其他学校的学生也来了。饶伯森先生及霍克先生也到场指导。霍克先生最近由美国来，是作为体育专家来指导……教育部的刘特派员赞扬了天津的体育工作，并为在比赛中获奖的运动员发了奖牌……第一私立中学校长张伯苓以‘雅典的奥运会’为题发表了演说，他介绍了古代奥运会的历史、现代奥林匹克运动复兴的过程，并说欧洲许多国家的皇室成员和美国的一些高级官员也对奥运会有兴趣”。他说：“此次运动会的成功，使我对我国选手在不久的将来参加奥运会充满了希望。因为，虽然许多欧洲国家奥运选手获奖希望甚微，但他们仍然派出选手参加奥运会。”同时，他建议：“中国人应该加紧准备，在不久的将来也出现在奥运赛场上。”他还认为，当时最需要的是聘请有技能的教练员，并说已有聘请美国奥运会冠军来华做指导的计划，应争取早日实现这一计划。张伯苓是中国历史上明确提出中国要参加奥运会，并提出一些措施来实现这一主张的第一个中国人。
1908年10月22日，在第六届年度运动会发奖大会上，天津基督教青年会干事饶伯森用投影机放映了伦敦奥运会的图片，他还在大会上讲述了体育对中国青年的重要性。关于奥运会的话题一时成了青年会的热门话题，进而一致提出了三个梦想：“中国何时派一位胜利选手参加奥运”，“中国何时派一支胜利队伍参加奥运”，“中国何时才能举办奥运，邀请世界各国选手到北京参加比赛”。
创建中华全国体育协进会
1910年10月18日，时任天津基督教青年会董事的张伯苓，与北京青年会总干事格林、上海青年会体育干事埃克斯纳等人，共同组织召开了第一次全国学界运动会，后国民政府追认为我国首届全国运动会。会后，张伯苓以赛会发起人、总裁判的双重身份，与唐绍仪、伍廷芳、王正廷等在南京发起成立了“全国学校区分队第一次体育同盟会”。这是中国的第一个社会体育组织，也是中华全国体育协进会的前身。及至1924年中华全国体育协进会正式成立后，仍决定以10月18日为该会的成立纪念日。
1924年5月22日，第三届全国运动会在武昌举行。赛会期间，五区体育联合会代表一致倡议建立一个代表整个国家民众体育的机构，并推选张伯苓、王正廷等筹备、主持其事。延至8月，“中华教育改进社”在南京召开年会，五区体育联合会的多数代表也出席了此次会议，遂借此集会之便，召开该会的第一次全国大会，通过简章，正式定名为“中华全国体育协进会”，并推选张伯苓、王正廷为名誉会长，沈嗣良为名誉主任干事及其他15人为董事。当时因政府没有经费支持，遂只得先借上海申报馆为会址。值得一提的是，张伯苓虽为名誉会长，但却实际主持着该会的日常工作，筹办各项国外赛事、选拔参赛队员、赛会总裁判、赛会总领队等各项任务均由其负责。
促成中国运动员第一次出现在奥运赛场
1932年7月，第十届奥运会在美国洛杉矶举行，南京政府以“经费紧张”为由，一再宣称不派代表参加。日本则认为有机可乘，加紧策划“新国家”（即伪“满洲国”）派选手参加。这激起了全国人民的反对，张伯苓领导的中华全国体育协进会旗帜鲜明地表示：坚决抵制伪“满洲国”参加奥运会，主张中国应针锋相对地派选手参加奥运会。7月1日，一向热心体育、关注刘长春的东北大学校长张学良，在出席毕业生典礼大会时郑重宣布：“捐赠8000银元，特派应届毕业生刘长春、于希渭为运动员，宋君复教授为教练，代表中国参加第十届奥运会。”
随后，张学良分别写信给南京政府外交部长和中华全国体育协进会张伯苓、王正廷，申明此举的重大政治意义，并请张伯苓尽快与国际奥委会取得联系。张伯苓遂向国际奥委会发出急电，为刘长春、于希渭报名。虽然当时已过了报名时间，但在张伯苓的努力下，奥委会还是很快复电同意了。当时身在大连的于希渭始终处于日本特务的严密监视下，甚至被公开拦阻，所以未能参加。
于是，7月8日上午10时，刘长春、宋君复乘美国“威尔逊号”邮轮从上海出发，赴美国参加第十届奥运会。中国人终于第一次步入了奥运会的神圣殿堂！这一举动弘扬了中华正气，写下了中国参加奥运会的重要一笔。