刘百川少时师从塾师高鹏程学习经史，从而奠定了扎实的文学基础。当时家境贫困，春荒时三餐不周，仍一心向学。1918年16岁时，他入薛小圩教蒙馆，次年入阜宁县立第一高等小学。因长于作文，组织同学出墙刊，为校长饯亦耕所赞许。1921年，高小未毕业即考入省立第八师范学校，且成为文史组的高才生。他与同学倡组“丙寅学社”，研究新文学，创办《文学周刊》，带头写稿，被同学称为“文豪”。国文教师吴铁秋著《苍梧片影》，以刘百川游云台山日记多篇附于书后。刘百川在附小主事兼师范教师谢鸣九的指导下，以听课笔记为基础，写成《小学教学法通论》。他将其投寄上海商务印书馆，当即出版发行，获稿费80银元。消息传来，全校为之震惊，传为美谈。
刘百川在徐州期间加入中国共产党。1927年“四·一二”政变后，他在淮阴中学实小任教，同时任阜宁县教育局课主任兼县立师范教员，1929年出任江苏省东海中学实验小学教导主任，1931年出任扬州中学实验小学教导主任。
1933年后，刘百川在江苏教育厅任职，1935年任镇江大港乡村教育实验区主任。在此期间，他与同人组织了“中国教育研究社”，为该书刊写了“丛书编辑缘起”，又亲自主编一套《实际的小学教育丛书》，并为该书写了“编辑旨趣”。在大港期间，他还主编了《中央日报》教育副刊。在20世纪30年代中国教育工作者投身的乡村教育中，他在镇江大港的乡村教育实验区最出名。抗战伊始，刘百川先后在四川大学、华西大学、金陵大学任副教授、教授，时年38岁。抗战胜利后，他于1946年去江苏省教育厅工作，1947年因“共嫌”辞去职务去无锡江苏教育学院任教授。解放后，刘百川先后任苏南文化教育学院教授、工农教育系主任。1952年华东院系调整后，他任江苏师范学院教授、教育系主任。1956年受江苏省人民政府的委任到无锡组建江苏省中学师资训练班并任副主任兼教务长。解放初期他积极接受共产党的思想改造，奋发努力工作。
刘百川后半生身处逆境，尤其是文革期间更不免惨遭迫害，但他潜心研究，著书立说，笔耕不辍，以“教学不已，阖棺乃止”为铭书写了自己的人生。
1937年夏，全面抗战开始。刘百川在大港沦陷前率20多位同事，高举“江苏大港乡村教育实验区战时教育工作团”大旗，渡江北上，步行20天到达徐州。沿途宣传日军暴行，唤起民众杀敌。在徐州紧束行装，挤上陇海火车，于1938年元旦抵达西安。
刘百川在西安领导同仁参加抗敌后援会的活动，如查禁日货，打击奸商，编写宣传材料，到街头宣传、演唱。同时他还为一些中小学代课。每日，刘百川领唱自作的晨歌：“鸦雀噪，日初起，一切每从清晨开始。今天的工作要切实做好，抗日的斗志要坚持到底……”不久，他们参加了教育部主办的战区中小学教师甘肃服务团。1938年3月，从西安乘火车到虢镇（当时陇海铁路终点），步行到天水，驻泰山庙。刘百川被任命为该团主任委员。团员们在天水、武山、甘谷、秦安、徽县、成县等地，到街头宣传，到中小学代课，到部队教歌，办群众阅览室，还在天水办“七七小学”。团员来自各省，思想复杂，左右两派明争暗斗，天水支部，尤为激烈，刘百川巧为周旋，苦心维持。
盐城人胡益生，在大港时相当活跃，他从西安去延安联系上组织关系，又回到西安随团到天水。高邮人吴曾样经胡介绍，得刘百川同意并资助，约了几个团员回西安转赴延安。事经右派渲染，惊动了重庆教育部。次长婉转到天水，责问服务团内有多少进步分子？刘百川答：“落后者多，进步的一个也没有。”次长怀疑刘百川与延安有联系，1939年2月，刘百川被迫去职。甘肃教育厅厅长郑通和素知刘百川的为人，随即委任其为该厅义务教育视导主任。但为时不长，又因“共嫌”去职。他在此期间所著的《义务教育视导》很受欢迎。
1957年“反右”中，刘百川被错划为“右派分子”（极右），后又加上“历史反革命”的帽子，被撤销一切行政职务和教授职称。他所著《教育学》已成清样，亦宣告劈版。随迁徐州后，只派他管理图书，帮助面授，为职工子弟补补课。但他并不自暴自弃，仍然刻苦研读，认真做事。
1963年，他重返讲坛，讲授教育学，指导学生实习，所撰《教育学讲义》（徐州师院l964年出版）和《教育实习指导手册》被该院长期使用。他还到徐州八中办初三实验班，自任班主任。他说：“但愿立功能补过，决心改选学红专。”1965年，所谓的“右派分子”和“反革命分子”帽子被摘掉。
正当刘百川抖擞精神重整旧业之际，“文化大革命”爆发了。在“学术权威必反动”的口号煽动下，造反派批斗他，折磨他，严重摧残了他的身心。尽管如此，后来他在“牛棚”里还是醉心著述，以出于古籍中的名言，如《礼记》的“教学相长”、《管子》的“百年树人”、《荀子》的“青胜于蓝”、《论语》的“因材施教”和自己的“劳者多能”为题，写成20篇小论文，汇为《传统教育经验述略》。其最后一篇《任重道远》中，引用了《韩诗外传》的一句话“教育不已，阖棺乃止”。刘百川正是这样的一位教育家。
1971年10月，“造反派”命令刘百川看守所谓“五·一六”分子，10月8日夜间上厕所，患有高血压症的老人晕倒在地，延到13日，“学而不厌，诲人不倦”“雄心不已，壮志未酬”的刘百川，与世长辞了。
刘百川至交朱智贤教授，早在《一个小学校长的日记》中写道“百川具毅力、育才干，每有众人不决之事，百川以一言决之。……而其戮才事业之精神，尤为常人所不及。百川居常无忧色，无怒容，不消沉，不欺悯。其对事也，无论其如何困难，从无畏虑退缩之表示；其对人也，无论其如何不肖，均存责己恕人之胸怀。百川健谈能文，所至之处，则谈笑风生，座中为之乐而忘倦。”这是对刘百川的道德、才干和风采最中肯的评价，适合他的一生，包括坎坷的后半世。晚年身处逆境，他仍不改素性，曾自豪自勉地说：“能受天磨称铁汉，不遭人忌是庸才。”
1979年3月和1986年12月，中共徐州市委两次行文为刘百川彻底平反、恢复职务和职称。1987年清明节，徐州师院部分师生和家人为刘百川补行葬礼，骨灰葬于徐州泉山东麓。