顾炎武低声道：“韦香主，我们几个这次前来拜访，有件大事相商。泗阳集上耳目众多，言谈不便。可否请你吩咐将座舟驶出数里，泊于僻静无人之处，然后再谈？”
顾炎武当年在河间府杀龟大会之中，曾受推为各路英雄的总军师，在江湖中声誉甚隆，韦小宝对他一向佩服，当即答应，回去向苏荃等人说了。
苏荃道：“防人之心不可无。我们的座船跟着过去，有什么事情，也好有个接应。”
韦小宝想到要跟着顾炎武等到“僻静无人之处”，心下本有些惴惴，有七个夫人随后保驾，就稳妥得多了，连声叫好，吩咐船夫将两艘船向南驶去，说是要在运河中风景清雅的所在饮酒赏月，韦公爷雅兴来时，说不定要做几首好诗，其余从舟仍泊在泗阳集等候。
韦小宝回到大船中陪客。两舟南航七八里，眼见两岸平野空阔，皓月在天，四望无人，韦小宝吩咐下锚停泊，叫大船上的舟子和侍从都到后舟中去，以免碍了韦公爷和六位才子的诗兴。
待舟中更无旁人，顾炎武等这才又再申谢当年相救的大德。韦小宝谦逊一番，跟着说起吴六奇和陈近南先后遭害的经过，众人相对唏嘘不已。
顾炎武道：“江湖上流言纷纷，都说韦香主贪图富贵，戕师求荣。吕兄、查兄和兄弟几人，却知决计不确。想我们三人和韦香主素不相识，韦香主竟肯甘冒奇险，杀了吴之荣那厮，救得我们性命，以这般义薄云天的性情，怎能去杀害恩师？”
查继佐道：“我们听江湖上朋友说起此事的时候，总是竭力为韦香主分辩。他们却说，鞑子皇帝圣旨中都这样说，难道还有假的？可是韦香主身在曹营心在汉，种种作为也不能跟外人明言。自来英雄豪杰，均须任劳任怨。以周公大圣大贤，尚有管蔡之流言，何况旁人？因此韦香主也不必放在心上。”韦小宝听不懂他说什么周公管蔡，只有唯唯诺诺。
吕留良道：“韦香主苦心孤诣，谋干大事，原也不必在这时求天下人谅解。只要最后做了惊天动地的大事业出来，大家自会明白先前是错怪了你。”
韦小宝心想：“我会有什么惊天动地的大事业做出来？啊哟，不好，他们又是来劝我行刺皇上。怎么跟他们来个推三阻四、推五阻六才好？我得先把门儿给闩上了。”说道：“兄弟本事是没有的，学问更加没有，做出事来，总是两面不讨好。兄弟灰心得很，这次是告老还乡，以后是什么事都不干了。”
吕毅中见他年纪比自己还小着一两岁，居然说什么“告老还乡”，忍不住“嗤”的一声，笑了出来，顾炎武等也都觉得好笑，相顾莞尔。
黄梨洲微笑道：“韦香主英雄年少，前途不可限量。无知之徒的一时误会，那也不必计较。”韦小宝道：“这个较是要计一计的。黄先生，你做了一部好书，叫做……叫做明……明阿姨什么什么花花绿绿的？”黄梨洲大为奇怪：“这人目不识丁，怎会知道我这部书？”说道：“是《明夷待访录》。”韦小宝道：“是了，是了。你这部书中讲到有个美貌姑娘，叫做明明阿姨吗？又有许多话痛骂皇帝的，是不是？”
黄梨洲等都吃了一惊，均想：“连这人都知道了，只怕又是一场大大的文字狱。”
顾炎武道：“也不是骂皇帝。黄兄这部著作见解精辟，说明为君之道，该当如何。”
韦小宝道：“是啊。皇上这些日子中天天读黄先生这部书，不住赞你做得好，呱呱叫，说不定要请你去做状元，做宰相。”黄梨洲道：“韦香主取笑了，哪有此事？”韦小宝于是将康熙如何大赞《明夷待访录》一事说了，众人这才放心。黄梨洲道：“原来鞑子皇帝倒也能分辨是非。”
韦小宝趁机说道：“是啊。小皇帝说，他虽不是鸟生鱼汤，但跟明朝那些皇帝比较，也不见得差劲了，说不定还好些。他做皇帝，天下百姓的日子，就过得比明朝的时候好。不过做人嘛，总归爱自称自赞，兄弟没学问，没见识，也不知道他的话对不对。”
顾查黄吕四人你瞧瞧我，我瞧瞧你，想起了明朝各朝的皇帝，自开国的明太祖直至末代皇帝崇祯，若不是残忍暴虐，便是昏庸糊涂，比之康熙，人人天差地远。他四人是当代大儒，熟知史事，不愿抹煞了良心说话，不由得都默默点头。
韦小宝道：“所以啊。皇帝不太坏，天地会众兄弟更是好的。皇帝要我去灭了天地会，我决计不干。天地会众兄弟要我去行刺皇帝，我也决计不干。结果两边都怪我，兄弟左思右想，只好告老还乡了。”