到了五六岁上识字读书聪明出众只是生成一个杰骜不驯的性子顽劣异常。淘气起来莫说平人说他劝他不听有时父兄的教训他也不甚在意。年交七岁纪太傅便送他到学房随哥哥读书。那先生是位老儒见他一目十行到口成诵到十一二岁便把经书念完大是颖悟便叫他随了哥哥听着讲书。只是他心地虽然灵通性情却欠淳静才略略有些知觉便要搬驳先生那先生往往就被他问得无话可讲。
一日那先生开讲《中庸》开卷便是“天命之谓性”一章。先生见了那没头没脑辟空而来的十五个大字正不知从那里开口才入得讲这“中庸”两个字去只得先看了一遍高头的讲章照着那讲章往下敷衍半日才得讲完。他便问道：“先生讲的‘天以阴阳五行化生万物’这句话我懂了。下面‘于是人物之生因各得其所赋之理以为五常健顺之德’难道那物也晓得五常仁、义、礼、智、信不成？”先生瞪着眼睛向他道：“物怎么不晓得五常？那羔跪乳、乌反哺岂不是仁？獬触邪、莺求友岂不是义？獭知祭、雁成行岂不是礼？狐听冰、鹊营巢岂不是智？犬守夜、鸡司晨岂不是信？怎的说得物不晓得五常！”
先生这段话本也误于朱注讲得有些牵强。他便说道：“照先生这等讲起来那下文的‘人物各得其性之自然’直说到‘则谓之教若礼乐刑政之属是也’难道那禽兽也晓得礼乐刑政不成？”一句话把先生问急了说道：“依注讲解只管胡缠！人为万物之灵人与物一而二、二而一者也有甚么分别？”他听了哈哈大笑说：“照这等讲起来先生也是个人假如我如今不叫你‘人’叫你个‘老物儿’你答应不答应？”先生登时大怒气得浑身乱抖大声喊道：“岂有此理！将人比畜放肆！放肆！我要打了！”拿起界尺来才要拉他的手早被他一把夺过来扔在当地说道：“甚吗？你敢打二爷？二爷可是你打得的？照你这样的先生叫作通称本是教书匠到处都能雇得来。打不成我先教你吃我一脚！”吧照着那先生的腿洼子就是一脚把先生踢了个大仰脚子倒在当地。纪望唐见了赶紧搀起先生来一面喝禁：“兄弟不得无礼！”只是他那里肯受教？还在那里顶撞先生。先生道：“反了！反了！要辞馆了！”
正然闹得烟雾尘天恰巧纪太傅送客出来听见。送客走后连忙进书房来问起原由才再三的与先生陪礼又把儿子着实责了一顿说：“还求先生以不屑教诲教诲之。”那先生摇手道：“不大人我们宾东相处多年君子绝交不出恶声晚生也不愿是这等不欢而散。既蒙苦苦相留只好单叫这大令郎作我个‘陈蔡及门’你这个二令郎凭你另请高明。倘还叫他‘由也升堂’起来我只得‘不脱冕而行矣’！”
纪太傅听说无法便留纪望唐一人课读打算给纪献唐另请一位先生叫他弟兄两个各从一师受业。但是为子择师这桩事也非容易更兼那纪太傅每日上朝进署不得在家他家太夫人又身在内堂照应不到外面的事这个当儿那纪献唐离开书房一似溜了缰的野马益淘气得无法无天。
纪府又本是个巨族只那些家人孩子就有一二十个他便把这般孩子都聚在一处不是练着挥拳弄棒便是学着打仗冲锋。大家顽耍。
那时国初时候大凡旗人家里都还有几名家将与如今使雇工家人的不同。那些家将也都会些撂跤打拳、马枪步箭、杆子单刀、跳高爬绳的本领所以从前征噶尔旦的时候曾经调过八旗大员家的库图扐兵［满语：牵马的奴仆］这项人便叫作“家将”。纪府上的几个家将里面有一名教师见他家二爷好这些武艺便逐件的指点起来。他听得越高兴就置办了许多杆子单刀之类合那群孩子每日练习。又用砖瓦一堆堆的堆起来算作个五花阵、八卦阵虽说是个顽意儿也讲究个休、生、伤、杜、景、死、惊、开以至怎的五行相生八卦相错怎的明增暗减背孤击虚教那些孩子们穿梭一般演习倒也大有意思。他却搬张桌子又摞张椅子坐在上面腰悬宝剑手里拿个旗儿指挥调度。但有走错了的他不是用棍打便是用刀背针因此那班孩子怕的神出鬼没没一个不听他的指使。
除了那些顽的之外第一是一味地里爱马。他那爱马也合人不同不讲毛皮不讲骨格不讲性情专讲本领。纪太傅家里也有十来匹好马他都说无用便着人每日到市上拉了马来看。他那相马的法子也与人两道先不骑不试止用一个钱扔在马肚子底下他自己却向马肚子底下去拣那个钱要那马见了他不惊不动他才问价。一连拉了许多名马来看那马不是见了他先踶蹶咆哮的闪躲便是吓得周身乱颤甚至吓得撒出溺来。