母亲在万般无奈下向另一位律师求助，律师觉得代理这案子没什么好处可言，就给她出了一个法子，让她带我们去兰贝斯市当局，用请求当局救济的手段逼父亲出钱抚养我们。
体弱多病的母亲没办法独自抚养两个孩子，她别无选择，只能决定一家人一起去兰贝斯的贫民学艺所去了。
第二章 兰贝斯贫民学艺所
去贫民学艺所是一件很丢人的事，但当母亲告诉我们这个决定的时候，我们想到可以改变现在的生活，又都忍不住有些欢欣，因为不用再住在那憋闷的小屋里了。可是，等我们真的走进贫民学艺所，才感到伤心和无所适从了。因为我们一到那就被分开，母亲被领往妇女收容所，我们兄弟二人则被领到了儿童收容所。
这里的生活很好适应，但雪尼和我总觉得日子中萦绕着一种灰暗愁苦的气氛。我最期待的就是围着长桌吃饭。吃饭时，我们由一位老先生照看着。他七十五岁上下，白色的胡子稀稀拉拉，忧郁的眼睛里总透着严肃。因为我最小，他就让我坐在他身旁，另一个原因是因为他喜欢我没剪短发时，有一头比其他孩子更卷曲的头发。不过好景不长，很快来了个比我更小的孩子，头发也比我的更卷，我在老先生旁边的座位就只能让给他了。年龄越小、头发越卷的孩子越要坐上座，这就是那位老先生的奇怪理由。
我和雪尼在三周后转赴汉威尔贫民孤儿学校学习，离伦敦市区快十二英里。到达之后，我们先在试读部进行身体和智力检查，合格之后才能正式进入学校，因为平均每三四百个小孩中就会出现一个身体有病或智力不正常的。
最初，我一直郁郁寡欢。因为在贫民学艺所的时候，觉得母亲就在身边，可是来这儿之后就离她越来越远了，所以不免怅然。从试读部正式进了学校之后，雪尼和我也被分开了，他上大班，而我则和小一点的孩子分在一起。这样一来我们也就住在不同的区，平时很少能见面。我那时又瘦又小，刚过六岁，愈发显得孤苦孱弱。每逢夏日傍晚，我就和其他二十个孩子一起跪在宿舍里做临睡的祷告。窗外是西沉的夕阳和绵延的小山。我跟大家一起，用高低不和的声音沙哑地唱着：
夕阳西沉，求主与我同居；
黑暗渐深，求主与我同居；
求助无门，安慰也无求处，
常助孤苦之神，与我同居。
虽然并不了解这赞美歌的深意，但每当此时我都会感觉异常愁苦，因为歌声和夕阳让我徒增伤悲。
两个月之后，母亲曾帮我们请过一次假，我们一家人有了一天短短的团聚。不过这次之后我们回汉威尔待了几乎一年，这也是我个性成长中最重要的一年。我开始上学，跟着老师学写自己“卓别林”这个姓。我觉得这几个字的样子十分像我，所以被它们深深吸引了。
在汉威尔的时候，我们被照顾得很好，但生活中总透着些清冷愁苦的气息。七岁后，我由小班升到专门教七到十四岁孩子的大班。这意味着我可以参加军训和体操，并且可以进行每周两次的定时校外散步了，这些都是成年人的活动。
在乡间小路上散步的时候，我们都是上百个人一起，两两成排。经过那些村子的时候，居民们像看怪物似的，紧张地盯着我们看。我恨这种散步，也恨那些居民。在他们说的黑话里，我们所在的贫民学艺所就叫“牢房”。
学校里有一块铺着石板的运动场，是建给男孩子用的。运动场旁边最阴暗的拐角里有一间空屋，据说这几天有一个十四岁的孩子被关在里面了，有人说他的胆子特别大，有一天居然从三楼窗户里爬出来，想要从屋顶逃出学校，还直接用石子和七叶树的果实去砸那些来捉他的管事们。我们小班学生是从大一点的孩子那里听说这件让人咋舌的新闻的。
犯了这种大错的学生，在星期五的大健身房里是要受罚的。那个健身房十分阴冷，有几根绳子从很高的房梁上垂下来，大厅深处，摆着一张长课桌，桌前靠右的架子上搭着几根用来绑手腕的皮条，还有一个让人心惊胆战的板子挂在那。每逢周五早上，二三百名七岁到十四岁的男孩，就会列着像士兵那样齐整的队伍走进大厅，站在桌子三面，犯错的学生则站在缺口那面等待审讯和惩罚。
错误没那么严重的孩子，挨的是藤条。欣德拉姆大尉，一名大概两百磅重的退伍海军军官，背着一只手，另一只手握着一根差不多四英尺长的藤条，那家伙几乎比男人的大拇指还粗。等受罚的孩子被脸朝下按到桌上之后，欣德拉姆大尉就架势十足地站好，把藤条横在孩子屁股上空，打量完了之后，慢悠悠地举高了藤条，再“唰”的一声重重抽在那孩子的屁股上。在这种惊魂的场面下，两旁看着的孩子常常会昏厥，跌倒在队伍中。