蔡虔离开军营已是三日之后了，不是他有意拖延，实在有太多事放心不下。他再三嘱咐孟副将不可小瞧了高昌王，将一切安排妥当后，依依不舍地离开了。
当他回到都城秀禺，本以为只是被罢免兵权，正想好好休息一番，谁知没过几天，他与太子密谋的谣言就传到了南越王的耳朵里。那些谣言七句真三句假，说得有鼻子有眼，就连蔡虔磋磨了三日才离开这件事也被说成是“不肯交权”。此时赵英稷还躺在病床上不得起身，听闻太子与蔡虔有勾结，虽不十分相信却也不敢大意，急召丞相牙自和射阳君赵叔缠入宫。
“近日寡人听闻，太子与蔡虔图谋不轨，你们怎么看？牙卿，你先说说。”赵英稷道。
“呃，这个……”牙自面露难色，“王上，臣早年因为变法之事与太子有些误会，世人皆知。臣以为，太子的事臣不便置喙。”
“怎么？这么多年了，他还记仇呢？真是个不省心的孩子！”赵英稷叹了一声，又问赵叔缠的意见。
赵叔缠是赵英稷最小的弟弟，两人相差二十余岁，虽是兄弟却亲如父子，深受赵英稷的信任。见王兄问话，赵叔缠道：“臣弟以为，太子位居东宫，日后继承大统毫无异议，不至于要做出什么不利于王兄的事吧？”
赵英稷道：“有人上奏，说蔡虔回京之时，太子出城三十里相迎，可有此事？”
牙自道：“确有此事，蔡虔是太子的半个恩师，他们感情很好。”
“哼，感情好就可以胡来吗？”赵英稷气得直拍案：“几年前寡人出征回来的时候，他才出城十里。就这么不把寡人放在眼里？蔡虔是他的恩师不错，可常言道：‘天地君亲师’，寡人既是君王，也是他的至亲，怎么也不该排到蔡虔的后面。”
赵叔缠道：“王兄息怒，羽儿年轻不懂事，做事偶尔失了分寸敲打敲打就好了，没那么严重。”
“都二十四了，还不懂事？”赵英稷没好生气地说，“也罢，这件事暂且不论。寡人还听说，蔡虔这次回来，太子每日与他谈论国事，言语之间对寡人甚是不满，可属实？”
牙自和赵叔缠飞快地交换了一下眼神之后，赵叔缠拜道：“王兄，这恐怕是有人暗中中伤太子，挑拨您二人的父子关系，不可轻信呐！”
牙自思虑再三后说：“王上，太子心思耿直，阅历又浅，臣怕他被别有用心之人利用。”
“别有用心？你是说蔡虔？”赵英稷问。
“这……王上恕罪，臣并无真凭实据，不敢妄言。”牙自拜道。
次日，赵英稷召太子入宫问话，没说几句两人就争吵起来。
赵英稷拍案怒斥：“混账！这是你对父王说话的态度吗？你身为太子，每日里只知道舞刀弄枪逞匹夫之勇，诗书礼仪学了多少？书都读到狗肚子里去了！”
赵子羽梗着脖子不服软：“父王若是觉得儿臣说话不在理，大可反驳儿臣，不要拿态度说事。颍州守军伤亡惨重，如果我们听从蔡虔的建议，从各地再抽调精兵至前线，颍州城指日可破，父王为何命大军停止进攻？还让蔡虔回来？”
赵英稷听了，气不打一处来：“照你这么说，此次令大军休整是寡人的错了？前线将士阵亡过半，九万人出去只剩下四万多了，他还想增兵？你知不知道这次出征前寡人已经把家底都掏给他了，眼下国内无兵可征。我说你们死盯着一个颍州城做什么？打下颍州，高昌国就灭亡了吗？天下就都是我们的了？幼稚！如果继续强攻颍州，势必会造成更大的伤亡，到时候我国内兵力空虚，孤竹国和夜郎国借机反戈相向，我们怎么办？”
赵子羽道：“那我们当初为什么要打高昌国？如今打也不是，不打也不是，难道不是父王您的决策错了吗？”
“啪”地一声，一块硬东西落到地上摔成了几瓣。原来是赵英稷朝着儿子扔出了案上的镇纸，被赵子羽闪身躲过。赵英稷本要发更大的火，哪知腿上的伤处忽然隐隐作痛，他喘着粗气，对儿子摆摆手道：“滚，滚出去，寡人不想见你！”
儿子走后，赵英稷久久不能平息。赵子羽的话就像一把刀子戳到了他的痛处：当初自己决定出兵高昌国蔡虔并不赞同，理由是“高昌国治军有方，民风彪悍，贸然开战恐损失重大，不如先取夜郎国”，是自己坚持要联合孤竹与夜郎攻打高昌，又坚持任命蔡虔为主将。王命一下，蔡虔表面上不得不从，心里恐怕是很不服气的。赵子羽的那句“难道不是父王您的决策错了吗？”八成是蔡虔教的。他捂着伤腿一瘸一拐地坐下，自言自语道：“我真的老了吗？这么点小伤竟然现在还疼！”遥想当年，自己骑术精湛、臂力惊人，拉得开硬弓、降得住烈马。战场上数次负伤，哪一次不是叫医官胡乱包扎一下就接着上前线？可如今，他真真切切地感到力不从心了，不然也不会摔下马来，更不会几个月都不能起身。曾经英明神武的王老了，大臣会怎么看？宗室会怎么想？尤其是太子到底又在想些什么？他忆起赵子羽小时候的光景，那时候的儿子虽然顽皮却从不会忤逆他，又想起两人密谋的传言和牙自说的“别有用心之人”，心道莫非这其中真有什么关联？他思虑良久，终于拿定了主意。
又过了一日，南越王下旨，任命射阳君赵叔缠为太子太傅，并接掌驻守在颍州附近的四万大军，蔡虔因母亲年迈多病，准其回乡照看。旨意一出，蔡虔还没说什么，赵子羽先坐不住了，破口大骂道：“当年我国兵力孱弱、军纪涣散、士气低沉，是蔡将军凭一己之力将这支队伍变成如今的模样。他立了那么多军功，却让他回乡照顾老娘，把他辛辛苦苦带出来的兵交给射阳君，亏父王想得出来！蔡将军种下的树，凭什么让别人摘了桃子？射阳君除了会吃喝玩乐还会干什么？他打过硬仗吗，他懂兵法和阵型吗，就把军队交给他？只会几招花拳绣腿，还敢做我的太傅？想得美！有本事跟我单挑，看我不打爆他的头！”这些话很快传到了赵叔缠的耳朵里，把他气得不轻：“这小子也太目中无人了，天下各国宗室掌兵的先例还少吗？蔡虔回家侍奉母亲，我替他管几天怎么了？我可是他叔叔，没大没小的！”
蔡虔离京返乡之后，弹劾他的声音一浪高过一浪。罪名也越来越多、越来越离谱，从“与太子过往甚密”，渐渐变成“自恃功高，不尊王命”，到最后竟然成了“与太子密谋叛乱，有不臣之心”，各种细节传得犹如身临其境。赵子羽不明白事情为什么会变成这样：蔡虔明明有大功于社稷，对国家一片忠心，更没有犯过大错，却有一群人跳出来给他罗织各种罪名。而且自己越是维护他，反对的声音就越是高涨，甚至连父王对自己的态度也越来越不妙了。终于，在一年多后，南越王派使者赐蔡虔一柄短剑，命其自刎。
此时蔡虔已被贬为庶民。接到王命后，他手执短剑仰天长叹：“我蔡虔对南越国一片赤胆忠心，我不明白自己究竟做错了什么，竟落得如此下场？也罢，君要臣死臣不得不死。”说罢，他恋恋不舍地看了一眼家人，拔剑自刎了。得知蔡虔已死，赵子羽心痛得几乎发狂。赵英稷料到他一定会生事，索性在赐死蔡虔之前就命人将他幽禁在东宫，并派出重兵把守。果不其然，赵子羽见大门被封堵，竟举起一方大鼎砸向院墙，将墙壁生生砸出一个大洞来。东宫守军虽奉王命阻拦他，却不敢真的伤了他，只好用数十面盾牌组成方阵，阻止他往外逃，又被他撞开。赵子羽出了东宫后并不逃离，只在宫里乱撞，对着沿途遇到的大小物件发泄，多处宫殿的牌匾被毁。早有人报给赵英稷知晓，赵英稷只撂下一句话：“由他闹，没力气了就拖回去。”
在颍州前线，听闻蔡虔的死讯后，高昌军士气大振，接连打退了孟副将组织的数次进攻。赵叔缠见讨不到便宜，又恐被赵英稷责怪，便上书道“ 孟副将贪功冒进，接连损兵折将”，导致其被免。牙自也上书曰：“颍州城久攻不下，大军长久驻扎在外消耗甚大，粮草难以为继。依臣之见，不如先将大军撤回，再寻良机。”赵英稷也准了。至此，颍州之危终于解除。郑安雅带着杜襄成、萧蘼芜、平四海回了京畿，同行的还有高无疾推荐的两个校尉郝胜男和高承显。