韩义终因过失杀人被判充军，唐代充军的热门地点有四个：丰州（天德军）、伊州、房州（房县）和崖州。伊州时已陷于吐蕃之手，余下三地根据距离远近和流放者的身份和身体状况决定，韩义被判流放丰州。
韩四从小孤山赶来为兄弟送行，杀人偿命欠债还钱，在韩氏兄弟看来是天经地义的事，既然把人杀了，被判充军已经是得了便宜了，韩四根本没想过去追究唆使他兄弟走上不归路的元凶真恶。
李茂也不敢点明，韩义是个愣头青，********地维护苏成，宁死也不肯咬苏成，加之成武县上上下下一体维护苏家，李茂自感势单力薄，只能隐忍不发。
韩义充军的那一天，韩四烹了两条肥鱼，烫了壶酒来给兄弟送行，因为无钱打点进不得牢门，无奈来哀求李茂帮忙，李茂送韩四进了臭烘烘的大牢，没敢多停留就退了出来。
韩四看着兄弟吃了酒饭，抹着眼泪出来了，眼圈红彤彤，见了李茂就要下跪拜谢，李茂哪里肯，忙将他扶起。韩四含泪道：“俺这兄弟糊涂，受人挑唆走了绝路，多赖捉金使维护，才使俺们兄弟见了最后一面，大恩大德，一辈子也不敢忘。”说完不顾李茂劝阻，执意给李茂磕了几个头，才抹着眼泪走了。
一个月前李茂初见他时那还是一条龙精虎猛的精壮汉子，此刻却含胸驼背，需要拄着拐杖才能行走，两条腿在地上拖着，浑似有千斤之重。
李茂一记重拳击在身旁的枣树上，树干猛地一颤，枝头上挑着的最后几片枯叶飘飘洒洒地落了下来，这一拳崩裂了包扎好的伤口，血浸出纱布流了出来，李茂心中郁闷竟然不觉。细心的芩娘发现李茂手上缠裹的纱布浸出了血，大吃一惊，不顾李茂再三呼喊，执意冒雨出了门，把郎中请到家里为他重新裹了纱布。
送走郎中，芩娘叹道：“我知道你心里不好受，这样的事搁谁身上都难过，可是再难受也不该糟蹋身体。大郎近来也常唉声叹气，说成武县的官难做，大户们手伸的太长，衙门里满都是他们的人，处处掣肘，做什么都不顺。”
李茂道：“大郎有没有萌生退意？”
芩娘跪在李茂面前，握着他的手，仰头笑问：“你萌生退意了吗？”李茂道：“说实话我的确有些不耐烦，不过就这么走了，又实在心有不甘。我要留下来跟他们斗一斗。”
芩娘笑道：“大郎也是这个心思，想一走了之，又不甘心。茂哥哥，你打算怎么跟他们斗呢？用你这对铁拳打他个稀巴烂。”
一声“茂哥哥”