王吉在知道夏夕颜打算离开临邛县的时候，就知道他糟了，然而却没有想到会遭的那么快。
他管辖的临邛县内，不到一个月就搬离的三位大富豪，而其他小富豪也起了离开之一，让临邛县的街市关闭了三分之一，市民的生活受到了很多的冲击，以前热闹似省城的集市也平庸了下来，临邛县的小商贩损失惨重。
他也极力挽留要跟着卓家离开临邛县的大小富翁，最后没有留下不说，还被他们建议快点顺从民意驱逐他的‘贵客’司马相如出临邛县。
他冒着几十万贯的损失‘大义灭亲’的对司马相如下了驱逐令，和好友司马相如闹翻脸，以为这样可以重新得回民意，却是不想还是被人以治理临邛县不力，逼走临邛县富户为由
告到监御史，然后丢了县令的官职。
“夫君，你糊涂啊！怎可如此资助拿司马相如，得罪了卓家，失了民心还败光了家里这么多年积攒的银钱。”王吉的妻子吴氏看着丈夫被罢官，还损失了大半家产就有些生气念了王吉一句，虽然有些怪罪，却也只是责怪的念叨一句，却是被没有开口问问王吉今后他们家这么办的时候，王吉却是因为连日发生的事情而羞恼异常的呵斥起妻子吴氏来。
“你这蠢妇，别对我做的事情指手画脚，难道还想被我休回家不可！”王吉用惯常和吴氏说的威风话，让吴氏想起前年，她就为摘取了邻居家伸进他们家的枣树枝上的几棵枣子，就被王吉给赶回娘家要休弃的事情。
当初王吉就因她摘了伸到自家的几棵枣，就小题大做要休他以展示他的‘为官清廉’，不管她嫁入王家辛苦操持家事，不说功劳也说苦劳，还不提他们多年的夫妻情分，说把她赶走就赶走，若不是邻居知道后，吓的都准备砍了自家的枣来劝王吉不要为这样的小事情休弃她，王吉还坚持要休，最后是好几个邻居为她求情，她才免于被休弃的命运。
“夫君，就是如此把我呼来喝去！你败光了家财几十万贯，还丢了官职，我不过是念叨一句，你就又想休弃我！夫君，是不是从一开始就看轻我，所以才会如此轻易的休弃我的话放在口边，若是真的如此，我也不等夫君休弃，我自请下堂！”吴氏想到当年几颗枣就要被休弃的事情，再次升起了心寒，同时想到这么多年，因为王吉的官位，一直对她呼来喝去，而她因为家族只是平头百姓而不敢太过反抗的生活，突然之间有些不想再忍着过下去的说出‘自请下堂’的话。
“你这蠢妇，在说什么？还不去做饭，如今家里无奴仆伺候，你是想要饿死我吗？”王吉在接连损失了银钱和丢了官位，身价暴跌的时候，也就习惯性的随口威胁威胁吴氏，刷刷他的威风，却是没有想到居然惹的一向对他又惧又怕的妻子提出了‘自请下堂’，这可不是现在无权无势还无财的王吉真正想要的，现在休了吴氏，他可不似做县令时那样，可以再娶一个比吴氏更好的妻子。
这些关节王吉很清楚，所以在吴氏强硬的说话后，马上转移话题的让吴氏去弄饭。
然而吴氏隐忍了这么多年，今天被王吉再次提出‘休弃’的寒心事，那是那么好就转移的。而且王吉把她当奴仆一样的呵斥使用，吴氏想想就为自己的嫁人后的生活可悲。
“我是蠢妇，我配不上你王吉，也不配去给你做饭，我还是回我吴家，不碍你的眼，丢你的人了。”吴氏嘲讽的说完就转身回卧室收拾行囊回了吴家。
王吉见吴氏背着包袱离开，先还没有急，觉得最多回几天吴氏就会又灰溜溜的回来继续做他的妻子，却是不知早被他寒了心的吴氏，在不惧怕不是县令的王吉对她今后婚嫁的影响，一封和离书寄过去，没多久就在家人的安排下，另外嫁了一个老实本分的人家。
王吉知道的时候，大骂了吴氏一通，却是对已经和他没有关系的吴氏无可奈何，一个人在无人打理，也无财打理的宅院中，开始典当东西过活。
***
王吉这边丢了官职，被司马相如骗走了家财，过起了典当东西落魄日子时，被临邛县全县人赶出来的司马相如带着跟着他的卓文君过的更加落魄。
他名下的酒楼，被临邛县的百姓给砸了不说，他压手里的地契还来不及转手获得一些钱财就被临邛县人给姿势难堪的赶出来，再也无法进入临邛县。
回归到一穷二白的司马相如看着身边因为各种不孝的指责，而低头垂泪的卓文君，心中厌恶非常，却是还不得不继续带着她追着去到x县定居的夏夕颜。
司马相如现在也是骑虎难下，文人的好名声因为算计夏夕颜不成反倒在临邛县丢的一干二净，没有因为娶到卓文君获得当初想要的一切，还必须继续为了某些名声而继续和卓文君过下去。
因为现在司马相如想马上甩了卓文君，两人各走各的是完全要坐实了他当初追求卓文君就是看她背后的卓家的财力，想吃软饭的名声，所以他不到万不得已是不可能放弃卓文君。而且他现在的状况，抛不抛弃卓文君都是一穷二白吃不饱饭的状态，对于没有找到比卓文君还要好的下家事，司马相如也是不舍就这么抛弃卓文君的，逼近他都已经付出了许多东西，却一无所获，司马相如也有些不甘心，这种不甘心，会让司马相如发狠的一定要让夏夕颜认下他和卓文君的事情。