提起这段往事，不过想从侧面说明，在培正的第二年，我是如何热爱数学，而且成绩也不俗。但音乐还是不及格，英文也岌岌可危。教中文的潘燕霞老师很年轻，只有二十二岁，她一脸严肃，所有同学见到她时都提心吊胆。我还记得她戴的是带棱角的眼镜。多年后再见到她，她已不戴那副眼镜了。我问她当时为什么这么凶，她说培正的学生出名地顽皮捣蛋，因此她想用那副棱角眼镜来震慑不守规矩的孩子。
那年，有次校长在周会中要向所有学生训话。走上讲台时，台下喧哗大作，他开不了口，于是大怒，训斥我们，又嘱咐老师必须管好学生。他还说，很多学生都蔑视学校的优良传统，没有系上领带。那时我正好没有系领带，班主任潘老师当然留意到了。我穿了制服，但没系领带，不过我有一个颇为合理的借口。我的气管只有正常人的四分之一，领带令我难以呼吸，故此一般只有上课之后才系上。可是那天火车误了点，我从车站跑回来，领带虽然放在口袋里，但并无机会在周会前系上。当校长责骂时，我立时系上领带，奈何已经太迟了。
潘老师要我放学后见她。见面后，她说我衣冠不整要受惩罚。学生犯错是要记过的，不系领带是对校长大大的不敬，冒犯了整间学校，故此要记过两次。如果记过九次，就要给踢出校了。她还会把此事通知父亲。我当然知道有什么后果，想着即将发生的处分，不知道有何后果，我不禁焦急起来。
潘老师看着我一脸愁苦的样子，好像从未见过我一般。正当要接受“宣判”时，冷不防她问我为何穿得如此单薄，我说我没有其他衣服了。可能见到我瘦削的身子和苍白的脸，好像营养不良的模样，她又问我吃的情况。我告诉她每天吃什么和多少，她说：“你父亲是教授，但你穿不暖吃不饱？”于是我把家里的情况都一五一十地告诉她。她对我大大地起了同情之心，甚至送奶粉和其他食物给我补充。
这次事件竟是我的转折点，我被潘老师的好心肠感动了。这么多年来，在记忆中极少有老师或学校人员关心过我，我决心不让她失望，发誓努力做个更好的学生。我的表现愈来愈好，父亲高兴得不得了。初二的学业，从那一刻开始就飞跃了，除喜爱数学外，我也开始学习基本物理。
虽然下了决心，但初三那年是灾难性的，非人力可阻挡。二姐成瑚原本在澳门上高中，却染了重病。母亲只好放下一切专心照顾她，不幸她的病情一天比一天严重，终于在1962年去世，享年十九。我们都惊愕而深深地哀痛。我第一次看见父亲流泪，令人神伤。我也感到一种失落，这是从未有过的。
但这不过是连场不幸的序幕而已。那时候，父亲是香江书院（后已停办）哲学、中史、中文部的系主任。这所大专是他和一个叫陈树渠的人创办的，陈是原广东军阀陈济棠的侄子，也是学院的院长。父亲的事业看来颇为顺利，他不久前才完成了一本关于西洋哲学的书，正要着手写中国哲学。但出了些状况，香港的政治形势十分复杂，当时像我家南来的逃难者人数众多，亦有不少来自世界各地的情报人员。据父亲忆述，当时台湾方面特别接触了香江书院的高层，陈树渠等人都认为“反攻大陆”很快便会成功，台湾官员告诉他们，只要让特务渗透进香江书院，便可在“光复”后获得丰厚的高位，如担任某个市的市长之类。
父亲强烈反对这样做，但陈树渠则觉得并无问题。他因此想除去父亲，找倾向台湾做法的人来取代他。父亲有合约保障，陈树渠要立即解约并不容易，但父亲眼见学校高层如此腐败，愤而辞职，以示不满，这是1962年11月的事。
差不多同时，他在崇基书院的教席也不保。事缘院长凌道扬正在人事的倾轧中被迫辞职，而他是凌的亲信。这连串的事件使我家的收入剧减，事业上的打击，加上女儿的病逝，使父亲陷入深深的抑郁之中。
约两个月后农历新年期间，父亲病了，非常不舒服，晚上不能入睡。我们以为是吃了不新鲜的蟹所致。诚然，这或许是其中因由，但更严重的病因仍未确诊。由于手头拮据，他服用廉价的中草药和药物以自疗，可是并无起色，身体每况愈下。母亲向大舅求救，大舅办了一所天主教中学，颇为成功，身家也丰厚起来。父亲早年曾慷慨资助过他。母亲问他借点钱，想找好的大夫给父亲看病，但他拒绝伸出援手。
母亲的自尊心很强，不愿求人垂怜，但为了丈夫，也无法不四处求助。1963年4月，父亲的一些学生来了，合力把他送进医院，找西医来治他。很快就知道那是肾内的肿瘤引发了尿毒症。虽然没钱，父亲还是进了医院，但不到几个星期，他就说不出话来了。眼见思维敏捷、口齿清晰的人如今竟无法言语，真是心如刀割。