小查理的母亲就是这样一个富有人情味的人，她不只是说说而已。有一天她带着小查理从医院回来，见路上几个调皮孩子推推扯扯欺负一个衣衫肮脏的女人，她就上前责备那几个顽皮鬼。偏巧这女人原来也是个歌舞演员，生病之后生活无着流落街头。哈娜毅然送她到公共浴室洗了澡，然后领回家住了三天，从自己不多的衣物和钱中匀出一些送给她。这些都让小查理感到吃惊，因为他们家已自顾不暇，他母亲自己的身体也不健康。
在兰贝斯区奥克利街那间阴暗的地下室栖身的日子里，在肯宁顿路波纳尔弄3号那间摇晃的顶楼上苦熬的时光里，一个平凡而伟大的母亲使小查理看到了“这个世界上前所未有的慈祥的光辉”。他成名之后总结说：“只有在这种光辉的照耀下，文学和戏剧才具有它们最伟大、最富有意义的主题，也就是关于爱情、怜悯与人性的主题。”
日子复入愁苦，哈娜那一箱子戏装早已送进当铺。她又患了偏头痛症，可是没钱治病，只好用绷带敷上茶叶把眼睛蒙上，借以减轻痛苦。租来的分期付款的缝纫机因到期付不出租金，又被人家搬回去。雪尼趁课间休息去卖报，但这于事无补。全家人只得去肯宁顿路救济贫民的施粥所领取粥票，生活的重担已经压垮了拖着病体的哈娜，她只有硬着头皮决定：一家3口人进贫民习艺所。
这，对于原本小康的演艺之家不啻是一件“丢脸”的事。但小查理和雪尼刚听到这个决定时，小哥俩竟又觉得有点新奇，因为他们早想改变一下吃了上顿没下顿，和把衣物什么的送进当铺的日子。
就这样，1895年夏季小卓别林和雪尼随母亲走进了兰贝斯贫民习艺所。随着铁栅栏大门的关合，一家3口分开了。孩子住进儿童收容部，母亲则住进妇女收容部。两处分开不远，却都各有院墙，封闭式管理，制度严格。如每人都要脱下自己的衣裤洗了用蒸汽消毒，穿上贫民习艺所那既不像囚服又不是住院病服的那种衣服，孩子们一律剪成短发；家人会面只能在探望室，每周只能探望1次。第一个探望日，3人一见面都悲伤地流下眼泪。6岁多的小查理深切感受到这种近在咫尺却活生生地分开的痛苦，何时归家又何时才有个家呢？
3周之后，查理和雪尼又被转到汉威尔贫民孤儿学校。那是伦敦当局出于人道和责任，专门为生活无着的贫民、孤儿办的学校。孩子进去要经过体格、智力检查与试读，然后进入学校本部。孩子们生活上被照顾得不错，但校规比兰贝斯区习艺所更严。学文化、体操，还要受军训，小查理就是在这里由老师教会写自己姓名的。但若触犯了校规和有了过失，那就惨了，必须在星期五早晨去健身房，在列队而立的300人面前被体罚。轻则藤条重则木板，打的是屁股，少则3下多则6下，挨罚的孩子轻则哭喊重则晕倒。执行人是一个退役的粗壮的海军大尉，他喜欢慢条斯理的高举藤条，然后迅速地抽下去，这使孩子们十分恐怖而他本人颇为得意。
那一周，雪尼在厨房劳动打杂。小查理有时吃完饭离开餐厅时就去看哥哥，哥哥就偷偷拿一个夹着黄油的面包卷塞给弟弟，小查理就把它藏在衣服里带出去享受。到了星期四，小查理正和同伴们在运动场上游戏，可怕的喇叭吹响了，孩子们马上停下来列队站好。打手似的海军大尉像往常一样在扩音器前，慢条斯理地宣布星期五应当受罚的孩子的姓名。当听到是“查尔斯·卓别林”，小查理吃惊不小，不知自己做错了什么；如果是面包卷事发，那吃藤条的应该是雪尼呀；同时大概是由于成了一出剧中的角色吧，他的神经系统这时竟然有几分亢奋。如果5岁登台，是他个性中爱冒险与标新立异的基因首次显露，那么他等待着第二次表现的机会，因此他没有告诉雪尼。
翌日，孩子们在健身房排列整齐，板着脸的校长审问小查理：“查尔斯·卓别林，有人告你在厕所烧火，你怎么解释？”这真是冤案一桩，当时那几个孩子在厕所中烧纸片时，查理只是进去小便，不知是哪个坏小子恶作剧告了刁状。校长继续审问：“查尔斯·卓别林你有没有罪？”才7岁的小查理一紧张竟脱口而出：“有罪”两字。于是，他被绑了脚，脸朝下横放在长桌上，由人按着，另一人从他裤子里扯出他的衬衫罩住他的脑袋。海军大尉神气活现地使用了他的特权，疼痛和耻辱使小查理几乎停止呼吸，屁股上赫然留下3条粉红色伤痕。站在队列中的雪尼，眼见弟弟受辱而哭泣。小查理一声不吭，虽然不能走路被抬到垫子上伏着，但他觉得自己胜利了，苦难与挫折使这个7龄童变得勇敢了。
时隔不久，查理不得不与哥哥分开。当时贫民习艺所、贫民孤儿学校的男孩年满11岁，即可由本人选择将来参加海军或陆军。如果想参加海军，他就能派到一艘训练船上去接受实习训练。雪尼当时一心要学航海本领，这也许还包含了受海军大尉鞭打弟弟的刺激的缘故。因此，他毅然离开了汉威尔贫民孤儿学校走上训练船。
哥哥走后，又一个倒霉的事落到查理头上。那段时间学校“金钱癣”流行病，沾染上的孩子们的脑袋被剃得光光的，碘酒涂得满满的，小查理觉得那样子怪异而恶心。偏偏有一次，一个保姆拨开他脑袋上的头发，就发现了金钱癣。这回查理就忍不住哭了，因为他原本是一个整洁干净、受过良好熏陶的孩子啊。这次医治了几周才好，幸好母亲离开了贫民习艺所；等他好了，雪尼也训练完了，母亲把他接了出去。
但哈娜仍然难以找到工作，卓别林先生所在的戏院生意仍不太景气，给小查理的补贴难以为继。没过很久，他们母子3人只得重回贫民习艺所，小哥俩转到另一间孤儿学校。他们觉得那儿比汉威尔学校更凄凉，这是因为有一天，雪尼正在运动场上比赛足球，突然有两个保姆叫他到场外，悄悄告诉说他妈妈精神失常，已被送进疯人院。雪尼心中大惊，但怕别的孩子知道就装作什么事也没发生，又去踢球。等比赛完了，他独自躲到一边哭，哭完了再告诉弟弟。
查理听了先是不信，继而感到绝望，怎么可能呢？他问自己，妈妈怎么会疯呢？他的妈妈曾是一个优秀的喜剧演员，那样爽朗坚强、无忧无虑，还那么年轻，怎么会一下子就疯了呢？也许是年龄不大眼泪已流了不少，也许是这两年经历了太多的变故，查理这次没哭。他只感到绝望，恍恍惚惚觉得母亲是不是要有意丧失理智、抛弃自己与雪尼呢？他仿佛看到母亲消瘦犯愁的脸上，那对美丽的大眼睛茫然无奈地盯着他而渐渐远去……
一周后，事情证实了，法院裁决由卓别林先生负责抚养两个孩子。校方派车把小哥俩送到了肯宁顿路287号，卓别林先生和他的第二个妻子露易丝住在那。说起来除了酗酒这毛病，卓别林先生对孩子还是爱的。而露易丝这个高大漂亮却愁容满面的女人，忧郁而烦躁。她已有一个孩子，又来了两个丈夫前妻的孩子，这增加了她的负担，使她快乐不起来。而且露易丝也偏爱杯中物，常常喝酒和咒骂雪尼，使查理害怕又发愁。她把小哥俩送进肯宁顿学校读书，7岁的查理开始接受正规教育。他十分懂事，一放学就回家帮助干活跑腿，周末下午拖地板、洗餐具。
一个星期六中午，查理放学回去，家中空无一人。原来卓别林先生和露易丝吵了架，两人都出去了，雪尼放了学踢球也没回。菜橱里空无一物，查理肚子也空空的，他孤单单地走出去，像安徒生童话中卖火柴的小女孩一样，饥肠辘辘地在肯宁顿路上徘徊。菜馆、酒店的橱窗里，烤牛排、烤猪排冒着热气，肉汁卤的土豆金黄诱人……入夜，街头艺人吹响了大箫，拉起了手风琴，《金银花和蜜蜂》的乐曲，在广场上空悠扬回旋……小查理沉醉在这富有情感的音乐里，艺术的独特魅力使他忘了饥饿和孤独。可是夜已深沉，人们都回家了，艺人们也不见了，查理疲倦地回到家，喝醉了的露易丝骂着不让进门。这使同样喝醉了的卓别林先生大为光火，一失手打晕了露易丝。这不是第一次，有一回她把查理、雪尼都关在门外，他俩只得睡在一个守更人的炉子边，引起有人向“防止儿童受虐待委员会”投诉……