世家大族几百年的传承，在魏晋之时达到一个顶峰，九品中正制更是让这些世家把持着上层社会的通道，虽然后来晋朝灭亡，更是经历了五胡乱华之祸，但是世家大族却依然鼎盛，无论朝代更替，他们却总能屹立在朝堂之上。
本来在原来的历史上，唐朝是世家大族最后的一个高峰，科举虽然给一些平民学子一个进入朝堂的机会，但是每次录取的人数不多，再加上科举制度的不完善，所以大部分被录取的学子，依然是世家之人，大唐的历代丞相，绝大多数也都是出身于世家。直到唐末的黄巢之乱，世家大族多被屠戮，这才使得这些世家终于走向了灭亡。
不过李愔的出现，却加快了世家大族的衰落过程，特别是以五姓七望为首的世家大族在打压工商业失败后，族中的财政大受影响，其中太原五氏本来实力最弱，再加上又有王安和王况父子的关系，所以王氏第一个投靠了李愔，不少王氏子弟更是乘船出海，到达台湾进入政府机构中工作。
另外与王氏相似的还有一个卢氏，当年卢氏被李愔掐住了财政命脉，不得不向李愔低头，而后来李愔给了他们一个机会，让卢氏在台湾找到了新的财政支点，现在卢氏在台湾已经成为制糖业的巨头，另外还拥有一支庞大的船队，在海贸业上也拥有一定的话语权。
最后值得一提的还有清河崔氏和兰陵萧氏。其中崔玉和崔梦雪就是出自清河崔氏，而且他们的父亲还是上一任的族长，所以崔玉一支在清河崔氏内部也拥有相当大的号召力。而随着几大世家财政受到影响。崔玉则远赴台湾发展，而且事业越做越大。在他的号召下，有相当一部分清河崔氏的族人都迁到了台湾。这也使得清河崔氏的势力大减，甚至连排在五姓七望之中都有些勉强。
至于兰陵萧氏，虽然并不在五姓七望之中，但却也是大唐南方有名的望族，在南方望族之中有着相当的威望。再加上族中之女萧文心是李愔的王妃，所以兰陵萧氏对李愔的支持也最彻底，从一开始就派了不少族中子弟进入台湾，再加上又有陆洪、陆青、周龙等人，所以兰陵萧氏在齐王府的影响力极大。也只有王安所在的太原王氏才能与他们相提并论。
兰陵萧氏的鼎力帮助，还给李愔带来另外一个结果，那就是南方世家大族对他的支持，当初他迁移南方逃民填充台湾等地的事，就得到这些南方大族的不少支持，否则也不会进行的那么顺利。而且这些世家也同样派了不少族中子弟，进入台湾等的行政、军事机构中，也正是如此，李愔在扩张的过程中。才不用担心手中