薛怀义心中郁闷，河内坂良那借这个机会，将其灌醉，然后一把火将明堂点起了大火。这一场火势极大，史书记载“火照城中如昼，比明皆尽，暴风裂血像为数百段”。到了次日清晨大火熄灭，明堂与天堂均被烧成了白地，夹纻弥勒大佛像被烧成了灰烬，玉佛却不知所踪，佛军统领连衡也消失了。
薛怀义酒醒以后，以为这场大火是自己引起的，自缚请罪。武则天念在旧情，赦免了他，但对失踪的玉佛却耿耿于怀。根据副统领鱼朝奉的说法，连衡是监守自盗，趁乱窃走玉佛。于是全国都发下海捕文书，捉拿连衡。
而实际情况，却是河内坂良那趁大火盗走玉佛，一路朝着东方跑去。连衡不及通知同僚，只身追踪而去。最后连衡在扬州附近追及河内坂良那，两人斗智斗勇，都奈何不了对方。在争抢中，玉佛被一摔为二，佛头被河内坂良那夺走，返回日本，佛身却落到了连衡手中。
连衡返回洛阳，惊愕地发现自己竟已成罪人，连同连氏家族也被波及。他手中只有无头玉佛，不敢交还朝廷，又不敢留在身边，只得将其埋在岐山群山之中，在其上面建起一座关帝庙，以纪念佛军守护。而他则改姓为许，隐居在岐山附近，默默地守护着。
对于河内坂良那，许衡一直耿耿于怀，希望有朝一日可以寻回佛头，奉还朝廷，恢复家族名誉。为此，他拼命钻研金石玉石的鉴别之道，逐渐在当地有了名气，娶妻生子，把根扎在了岐山。儿子成年之后，许衡把家业与鉴古手艺传承给他，留下一篇《自叙》给家人，毅然离开岐山。
在《自叙》里，许衡先是把玉佛的来龙去脉讲了一遍，然后表示自己的时日无多，希望能在临死前去日本，毫无顾忌地放手一搏，才算对得起自己当年的誓言。许衡还表示，如果他没有回到中土，说明佛头的任务失败了，那么这个使命，将由许家子孙一代代传下去，直到玉佛身首归为一为止。
据说后来他化装成僧人，混入鉴真大师的队伍，从此再无任何消息。究竟他是在海难中身亡，还是在日本被杀，就没人知道了。
但许家没有遗忘家族祖先的遗训，将祖先交托的使命一代一代传了下去。笔记里列了一个很详细的家谱清单，上面的记录显示，许家从没有忘记过这个遗训，一直把佛身保护得很好，再窘迫的时候，也没人会提出卖掉它。
几百年下来，许家的金石鉴定之术已成为权威，更逐渐吸引了一批志同道合者，形成了五脉鉴古的雏形。而先祖许衡的嘱托，历代许家子孙也未敢遗忘，每一代总有人会前往岐山，守护玉佛身。笔记关于这一部分的记录，零散而琐碎，都是在记叙哪一代什么人做的关于玉佛的什么事。
到了明代万历年间，才重新出现了大段记录。当时许家有一名子弟叫许信，参加了大明援朝抗倭战争。许信在前线杀敌之时，无意中发现一个姓木户明雄的倭寇头目，居然想乔装潜入内陆，形迹可疑。他得到上级首肯后，只身追踪而去。几番交手，许信才知道，木户这个姓，原来就是当年的河内家分支传下来的，他们继承了河内坂良那的遗志，一直对留在大陆的玉佛身垂涎三尺。最后两人在岐山附近同归于尽。
许家这才意识到，原来几百年过去，河内坂良那的子孙竟然也一直没放弃夺取玉佛的心思。在族长的主持下，许信被安葬在离玉佛不远的地方，以表彰其精神。而从这时候起，许氏族长下令对玉佛之事三缄其口，除了长房嫡子嫡孙以外，不得外传。
这个命令初衷是为了防止有心人觊觎宝藏，但时间一长，对玉佛的存在知道的人逐渐变少，再加上乱世波折，传承几度中断，五脉尚在，但玉佛之事却慢慢地被许氏子孙淡忘。到了清代，许家已无人记得，就连《自叙》一文也不知流去何方。
在论文的结尾处，作者不无忧郁地写道：“自从唐代连衡祖先东渡以来，列祖列宗无不秉承‘信义’，把守护玉佛视为比性命还重要的事，这是多么令人钦佩的事情呀。连衡先祖开创白字门金石之法，本意是让许氏有朝一日寻得玉佛，可以明辨其真伪。可如今本末倒置，玉佛无人记得，这鉴古之法倒成了主业。世风日下，人心不古，许氏已遗忘了祖先的嘱托，偏离了本道，把心思都用错了地方。
“我花了十几年的时间，搜集、考证了无数古籍与古董，试着将许衡祖先的事迹复原，其目的在于有朝一日，可以唤醒许氏血脉，再度肩负起这个使命，不让我们的祖先蒙受无信的羞辱。明堂已经化为灰烬，武则天在乾陵里沉睡，对朝廷的恩义，我们可以不管，但让玉佛身首归一，是我们华夏子孙的责任。尤其是当下倭寇欲侵我国土，欲亡我民族之魂，欲灭我民族之精神，玉佛之事，可正为六万万同胞振奋之图腾也！”