败绩报至京城，太宗大惊，曹彬大军的败退，使得原计划中三军会师幽州城下的布置已经失败。此时田重进部和潘美部已经深入辽境，若是再遭伏击，后果不堪设想。因此立即下旨，令曹彬、崔彦进、米信立刻回京，命田重进部撤军回屯定州，潘美部全线撤军返回还代州，念原云、应、寰、朔四州的百姓盼归故土，令潘美护送四州百姓返回宋境，与吐谷浑各部族百姓分置河东、京西等地。
大军败绩，对于潘蝶来说，不亚于晴天霹雳。然而更大的风雷仍在后面。潘美人未返京，已经有人伏阙告状。由于潘美副将杨业战死寰州，杨业之妻折氏上奏，状告主帅潘美和监军王侁指挥有误，不依约定，致使杨业全军覆灭，杨业被掳绝食而死。
“这杨业是什么人？凭什么他的死，要怪到爹爹的头上来？”潘蝶看着潘美斑白的头发，忍不住问道。
也不过是半年功夫，潘美似乎老了足足十年，头上陡然增了许多白发，潘蝶看着老父的苍老，心中暗暗惊惧，原来这样一个仿佛山一样可依靠的人，苍老下来，竟然也会如此之快。想着他出征时大将军威风八面，如金甲神人似地。与此时躺上病榻上的老人，竟是判若两人了。
潘美苦笑一声：“杨业——”没有人比他更了解杨业了。
杨业本是北汉刘崇的部下，深得刘崇信任和重用，并得以赐姓刘，名继业。太宗灭亡北汉，刘继业仍苦战不屈，甚至北汉主刘继元投降以后，还在坚持战斗，太宗派刘继元亲自招降，刘继业才大哭解甲归降。刘继业归宋以后，复本姓杨，避当今皇帝祖讳，去继字，只留单名业。太宗久有征伐辽国之心，因杨业在北汉之时驻守北方，对防御辽国有丰富经验，派其到代州为三交驻泊兵马部署，成为潘美的部下。前年辽国大军从雁门大举进攻，杨业从小路率领数百骑兵绕到辽军背后，与潘美的部队前后夹击辽军，杀死辽国节度使驸马侍中萧咄李，生擒马步军都指挥使李重诲，缴获兵甲战马若干，杨业也因此积功升云州观察使。辽人深惧杨业，称其为杨无敌。
此次潘美奉旨，护送云、应、寰、朔四州的百姓返归宋境，恰在途中，得知辽将耶律斜轸率十万大军已经攻破寰州。杨业建议避战疾行，尽早掩护百姓退回关内，以少量骑兵掩护大军撤退。但是监军王侁和副将刘文裕却不以为然，此时因西路军一直节节得胜，直取云、应、寰、朔四州，眼见胜利在望，却要因曹彬军的败退，而功败垂成。王侁在军中资历本浅，他原是田仁朗的部下，因为构陷了主帅田仁朗取而代之，将李继迁杀得大败，逃入辽境而崛起军中，深得太宗信任。此时再征辽国，便派了他为监军。
王侁此时见军中人人心中尚是好战，便煽动军心，要在寰州与辽国再打一个大胜战，才光光彩彩地退回代州去。王侁心底很瞧不起杨业是个降将，但是军中向来讲究资历，他打得战不多，远不及杨业对辽作战多年，经验丰富，将他条条驳倒。王侁恼羞成怒，便逼住了杨业笑他不过是怯战枉称无敌，笑他原是个降将，自然不以大宋的军威为念。杨业本是条硬汉子，岂受他这般侮辱，眼见这一战在所难免。在场唯一能熟知耶律斜轸的战法之人，唯有他一个，明知此战必败，实不敢放心叫别人领军，只得自己请命率军前去。
潘美作为主帅，在这一场争执中，也着实犹豫。明知道王侁在挤兑杨业。然而杨业身为降将，在军中要付出比其他人多得多的努力，才能在军中站得住脚。杨业是他的部下，他非不肯维护，然而王侁是太宗派来的监军，又是一个以诬陷主帅而起家的小人，他不能为了杨业而得罪王侁，只因为王侁的背后，站的是当今皇帝。
想当年潘美何曾会因这种事而犹豫，何曾能容忍一个小人在他的军中擅权，若依他当年的性子，早就一剑将王侁这等人先斩了。
然而，今非昔比。犹记得当年他与曹彬领兵出征时，太祖皇帝会将所有部下的生杀予夺之权都交付主帅，不必请旨。然而这样的君臣之信任，早已经一去不回。
当今皇帝因上次高梁河大战失踪之事，居然有部将要推举赵德昭为帝，若是迟得片刻，帝位难保。此时他虽然将德昭德芳延美等一一铲除，却不免疑心军中仍有余党，且曹彬潘美，都是先皇太祖手中的功臣宿将，他不得不用，却不得不防。因此大军出发，要分成三路，而且每路各派副将监军节制。潘美曾经因这样的安排而拒接帅印，皇帝所作的退让却只是纳他的女儿为襄王妃，将宿将杨业交给他作副手，而丝毫没有改变派监军的原意。