如果事情只是发展到这一步，那无疑是才子佳人的美好传说。
但后来，却发生了变故。
李母所在的功勋贵族家族，后来在帝国的一次政治事件之中站错了队，彻底失势，一落千丈，势力烟消云散，背负了上了罪名，家中的顶梁柱倒塌，几位精英人物下狱的下狱，流放的流放，可谓所有的荣华荣耀，都被雨打风吹去，一夜之间，政治地位烟消云散。
而身为长安府知府的李父，却因为手段高明，做了一些动作，并未被牵扯到，地位稳固。
功勋贵族家族，将最后的资源和力量，都投注到了李父的身上，希望这个由他们扶持起来的女婿，可以帮助家族东山再起，恢复昔日的荣耀。
但是，没想到，在关键的时刻，李父却毫不迟疑地背叛了功勋贵族家族，投靠了敌对的政治势力。
这一番变故，可谓狗血至极。
剧变发生时的李牧，不过是才刚刚满月而已，还懵懂无知。
而随着家族的失势，李母在李府中的地位也是一落千丈。
昔日举案齐眉、相敬如宾的夫妻恩爱不再，虽然李父为了维持自己在帝国中的名望，并未休掉李母，但却又娶了一位平妻，还纳了好几房小妾，对于李母这位发妻，非但不管不顾，甚至还多次当众呵斥责骂。
到后来，李母干脆是被赶到了府中的一个小院子里，只留下几个陪嫁的丫鬟伺候，缺衣少穿，生活悲惨。
就是在这样的环境下，李母一把屎一把尿地将李牧养大。
小李牧倒也争气，从小聪慧，天资不俗，孝敬母亲，多次因为保护母亲而被李父责罚，也从未享受到身为小主人该有的荣耀，甚至连读书习武，都成为了一种奢侈，和府中的一个小杂役差不多，经常被一些下人刁难。
直到有一日，李父终于下定了决心，一意孤行，要休掉李母，要光明正大地娶一个外面的女人为妻，李母才明白，原来当年李父在赴考中举之前，实际上是已经娶妻，且生有一子，并非是未婚，当年追求李母，也不过是想要借助李母家族的势力而已。
这一次事件中，小李牧和知府爆发了巨大的冲突。
最终，年轻气盛的李牧，一怒之下，于李父三击掌，断绝了关系，李牧当着所有宾客的面，扬言要离家求学，不出人头地，绝对不回去，并且要让知府大人后悔，付出代价。
李牧离家出走。
而后，李母被李父安置在府外的一个小院子里，自生自灭。