在这之后，我们一家很快就团聚了，雪尼离开了“埃克斯默思”号，我也离开了汉威尔。新家是母亲在肯宁顿公园后面租的一间屋子。不过因为母亲找不到工作，父亲在戏院接的活也越来越少，所以我们最后不得不再次回到贫民学艺所。
当时因为住在另外一个贫民救济区，所以我们进了另一家贫民学艺所。之后又转进了比汉威尔更加冷清的诺伍德学校。那儿有着更高的树和更浓密的绿叶，可能乡间也更是风景如画，但却无法逃离那种悲凉愁苦的氛围。
那天，雪尼正在运动场上踢足球赛，两个保姆把他叫出去，告诉他母亲已经被送进凯恩－希尔疯人院——她疯了。听到这个噩耗后，雪尼十分木然，仍然回到运动场去踢球，但比赛一完，他就一个人静静地走开，忍不住哭了。
他对我说这件事的时候，我怎么也不能相信。虽然没有失声痛哭，但我在昏聩中感受到了极度的绝望。母亲怎么可能疯呢？那么天真烂漫、活泼开朗的母亲怎么可能疯呢？冥冥中我似乎有这样一种感觉，觉得母亲是故意的，她借丧失理智来抛弃我们。我似乎能在绝望中看见她无奈地盯着我看，然后消失在一片虚无中。
一周后，我们正式听到关于母亲疯了的宣布，同时也听说法院判决父亲必须负担起抚养我和雪尼的任务。我十分开心，因为就可以和父亲住在一起了。我长这么大就见过他两次，一次是看他在舞台上表演，一次是走在肯宁顿路上，看见他和一个女人走在一栋房子前的花园小路上。
那天，学校的管事驾着车把我们送到了肯宁顿路二百八十七号，就是我和父亲第二次见面的那幢房子。开门的是上次陪在父亲身边的那个女人。她叫露易丝，清瘦的脸庞上写满了愁苦，但是很美，身材也高挑儿匀称，年纪在三十上下。我父亲卓别林当时不在家，所以管事的办完手续，在文件上签了字之后，就把我们交给露易丝了。她领我们去了楼上的一间起居室，就在第一层楼梯口那。屋里有一个坐在地板上玩耍的小男孩，四岁，有着一双乌黑的大眼睛和一头棕色的浓密卷发，长的十分俊俏。这是露易丝的儿子，我同父异母的弟弟。
我们总共住了两个房间，前面一间有一扇大大的窗户，但窗外的阳光却像从水底反射出来一样照进房间。房间里的任何事物看起来都像露易丝一样哀伤。她另摆了一张床，让雪尼和我睡在后间，但那床对两个人来说太小了。雪尼要在起居室里的沙发上睡。露易丝却说：“叫你在哪睡，你就在哪睡。”这句话一说，所有人都原地僵住，无话可讲。我们只能再回到后间的卧室。
我们没有被热情款待，这是意料之中的。因为抚养雪尼和我的担子对她来说太突然了，更何况，我们只是父亲前妻的孩子。我心里隐约地有一种越来越强烈的恐惧感，只希望赶紧离开她和她身边所有东西，回到诺伍德。
父亲回来后，很和蔼地招待了我们。我被他深深地吸引了，在餐桌上，我用心地看他吃饭的一举一动。他在切肉的时候，握刀的手就像拿着一只铅笔一样。我在这以后的很多年里，都模仿父亲拿刀的样子。
父亲听露易丝说了雪尼嫌床小，于是让他睡在起居室的沙发上。露易丝被雪尼的这个胜利激怒了，从此就开始怨恨他，并且经常跟父亲说他的坏话。她脾气很坏，性格阴郁，不过从没打过我，甚至连做个样子吓唬我也没有过。但是我对她一直有一种畏惧感，因为她讨厌雪尼。更让我感觉害怕的是她经常喝酒。她一醉，就一脸什么都不管不顾的可怕神情。露易丝有时候坐着一边喝酒，一边想着什么，一言不发，这让我十分害怕。雪尼总是很晚才回家，从来都不理露易丝。但我却一放学就得赶紧回去，帮她做点零碎的事情，干干杂活。
露易丝送我们进肯宁顿路学校去上学，和其他孩子在一起的时候，我的孤独感就不再那么强烈，这也是悲苦生活中的一丝慰藉。我从来不期待周六下午的放假，因为我必须得回家洗地板、擦餐具，还要在这一天面对照例要痛饮一番的露易丝。她经常和一个女性朋友坐在一起边喝酒边寻气。我在她身旁一面擦刀叉，一面听她跟朋友大声诉苦，说她如何被迫照顾我和雪尼，如何受了很大委屈。我经常听她刻薄的咒骂雪尼，又恐惧又担心。对于当时还不满八岁的我来说，那是我一生中最难熬、最悲惨的一段时光了。
雪尼总是很迟才回家（他似乎一直这样），睡觉前还要去橱子里找吃的，这让露易丝恼怒非常。有一天夜里，喝了很多酒的露易丝走进起居室，扯开雪尼的被子，要赶他出去。但雪尼对她早有防备，他迅速从枕头底下一把抓出一个针眼锥，那是他用鞋绊的钩子磨成的。