和旧学校明显的区别是，我在新学校上课比以前更认真了。到了小学二年级，我渐渐知道何谓学习了。老实说，我的表现并不好，到了三年级也是如此，只是仅仅及格。来回学校，要花上个把小时的步行太辛苦，有时确实吃不消。而我依然没有摆脱“冬菇”这个令人讨厌的外号。
回家时，半途觉得太累，只好坐下来。父亲有时让三姐成瑶陪我回家。步行往返并不是唯一难挨的事，上课前的运动时间也不好受。我身形瘦小，打篮球不行，其他比赛也无法参加。
他们在玩球时，我只好在校园内四处闲荡。学校在小山上，有次我还看见了人骨的残骸。那是因为学校本来就建在坟地上，土层风化时骨骼就露出来了。
学校唯一的厕所，要步行六七分钟才到。有些大人躲在那里吸鸦片烟，差不多每次上厕所都会碰到这些人。当时我们很聪明，把杨万里的田园诗改为：有条老嘢想升仙，下有屎渠绕粪田。成日挂住食鸦片，被警追到岸旁边。[3]
下学期快完结时，成瑶碰见我正和同学田汉放学后在铁轨上走，便问这个学期过得如何。我腼腆不敢回答，因为成绩在水平之下，但田汉说我的表现非常不错。
“有多好？”她问。
“哦，他考第三十六名！”我朋友夸道。他自己在四十多人中名列四十。
到了四年级，我的成绩渐见进步，到了五年级就更好了，年级第二，父亲非常高兴。我的数学很好，虽然那个水平的数学不算什么。五年级开始有英文课，在此之前，我未听或讲过一个英文单词。这时，一件和英文有关的事发生了，它对我一生都有影响。当时香港是归英国管治的，学校的经费有一半来自政府。学生都要向政府注册，那些表格都是英文的。由于不懂英文，老师会替我们填写表格。我的姓用普通话念是Chiu，这是父亲一直用的写法。但老师用了粤语来填写我的姓，于是我变成姓Yau。（无论Chiu或Yau，都是孔子的名。孔子生于公元前551年，是多产的作家和思想家，强调只有努力学习才能获得真知。父亲在我们很小的时候便教授孔子的道理，因此我们和孔子除了姓名雷同外，也受到他的启迪。）
多年后，我两个小孩的姓都用Chiu，以继承家族的传统。不过那时候，父亲根本不在意我在小学用Yau作姓氏。我当时还是小孩子，也没有理会。我从不知道这英文姓氏会这样重要，没有人会猜到我最后会立足于美国，并以Yau姓为人所知。
五年级时我没怎么学英语，到了六年级，我和其他同学却因一次意外，引发了学习英语的需要。当时来了个姓马的新老师，他刚从香港大学毕业。他宣布，在班上大家只能说英语，这么一说，把我们都惊呆了，我们对英语所知实在有限。在开始的两星期中，没有人知道老师在说什么。“你明白吗？”他用英语发问，重复而又凶巴巴地问。很少人知道他在问什么。对一些学生来说是大灾难，因为马老师很严格，会毫不犹疑地给予差评。有些人忍无可忍，有一天带了刀子回校。放学后，当马老师走向巴士站时围上去，狠狠地打了他一顿，由此可见同学的野蛮。经此可怕的事故，马老师终于改变了他的教育方法。
六年级时的大事，乃是升中学的公开考试。所有小学生都要参加考试，以决定他们进哪一所中学。故此升学考试变得非常重要，况且在香港，中学和高校是连在一起的。为升学考试做准备，变成了六年级学年前半部唯一的大事，至少大家都认为如此。老师把我班四十五人，分成七个学习小组。我在前一年考第二，因此被选为其中一个学习小组的组长。当然，我自己只是个十一岁的小孩，根本没资格去督促那些不时颇为顽劣的同学的学业，我也不觉得有责任去管他们。
就在第一天“没有墙的学校”（全靠学生自主分组学习），我和同学一起如常上学。但我们不知要做什么，没有书本，也没有公共图书馆可供我们坐下来学习。因为感到无事可做，两名组员先走了，留下的四人跟着我。我们不知道如何运用这时光，只好在沙田到处走。最后，竟然当了一小段时间的青少年罪犯。
这段时间的活动时而平和，但有时就难说了。我们在市场闲逛，机会来时即顺手牵羊偷些东西。有时会和其他“童党”碰头，那就不一定和和气气了。有一次，我们在铁轨附近碰到一群坏小子，说着粗话，怒气冲冲地向我们冲过来，同伴都吓呆了。估量过形势后，我决定出击。我拿起铁轨上的一大堆石头，不断地向他们掷去。很惊奇地，把他们都吓跑了。同伴都认为我够勇武，是个出色的领袖。我并不为那一刻感到特别威风，但认识到自己虽个子小、气力弱，却拥有对着一帮（和我们差不了多少的）歹徒站起来的勇气。这种精神的力量，在将来碰到困难时会显露出来。即如在学术特别是数学上，所用的武器不再是棍子或石头，而是更微妙曲折的手段时，也是如此。