而这时边疆叛乱，大都督宋怀瑾选在新皇登基不稳时造反。
皇帝不知哪根筋搭错了派顾离带着几名大将前去镇压。
以顾离的算无遗策，不过半年，宋怀瑾造成的启朝内乱就被压下，对方更是被押解回京，不久后斩首示众。
宋家倒台，卫无双等人皆被流放南疆，三代不得回京，因为顾离只是继子，宋家族谱不曾有对方名字，逃过一劫。
但此事后，京中传遍他心狠手辣六亲不认的流言，对继父和生母以及胞弟都无半分怜悯。
卫无双在流放前曾苦苦哀求顾离保下宋润之，也就是她与宋怀瑾之子，却被对方拒绝了。
这是造反，该诛九族！
若非新帝念他多年辅佐之功，怎会从轻发落？
只是流放而已！
卫无双见对方拒绝，恨骂其不孝，继而一头撞死在牢墙上，至死眼睛都是怨恨瞪着顾离。
此事之后，顾离名声更差，满朝文武早就对其不满，还不得上奏非议于他。
早朝时，顾离少不得要被百官刁难，一开始皇帝还维护几次，但时日久了，难免烦躁，也就只做旁观。
后来天下大定，河清海晏，这种事只让皇帝觉得头疼。
为了平息朝中争议，对顾离明升暗降，封其为大将军，直接派去驻守边疆，非召不得回京。
文人出生却被封了将军，众将士自是不服，顾离自身又因卫无双自杀一事日日寝食难安。