四年冬十月，皇上行幸雍。祠五畤。开通回中之道，遂北出萧关。经过独鹿鸣泽，从代地还幸河东。春三月，祠后土。赦汾阴，夏阳，中都死罪以下囚犯。
夏，大旱。
匈奴自卫青，霍去病北出大漠以来很少再来寇边。远徙北方休养士马，习练骑射，并多次派使者出使大汉。好辞甘言，请求和亲。汉便派北地人王乌等前去窥探匈奴虚实。王乌遵从匈奴风俗，去节入其穹庐，单于特别喜欢，假以甘言，许诺为他遣太子入汉为质。汉使杨信出使匈奴，杨信不肯从其风俗，单于说：“我曾与以前的使者相约，大汉倘若遣公主携丝绸财物食品前来和亲如此匈奴将不再扰边，如今却违反约定，想要我太子为质是不可能了。”
杨信既归，汉又使王乌前往。而单于又用甜言蜜语迷惑王乌。想以此多骗得大汉的财物。骗王乌说：“我想要入汉见天子，当面相约拜为兄弟。”王乌归报汉，汉在长安为匈奴修筑府邸。
匈奴说:：“大汉若不使其贵重之人前来出使，我是不会以真心和他相谈的。”匈奴使其贵人前往大汉出使，有病，汉竭尽全力希望治好他，不料他竟病死。汉使路充国佩二千石印绶，因送其丧，厚葬值数千金。并告诉匈奴说，路充国就是大汉的贵人。匈奴单于却就认定是大汉杀死了他的贵人，竟扣住路充国为质，不使归汉。再使王乌进言，单于不为所动，只用空话稳住王乌。却再无意入汉了。及其太子自大汉被遣归，便经常派奇兵侵扰汉的边鄙了。皇上于是拜郭昌为拔胡将军，配合浞野侯屯兵朔方以东备胡寇，
五年冬，皇上去南方巡狩，至于盛唐。在九嶷山遥祭虞舜。然后登天柱山。自寻阳乘船浮江，亲执弓射获江蛟。舳舻千里，自枞阳而出，遂北至琅琊海边，所过之处，都要礼祠其名山大川，次年春三月，还至泰山，增封。甲子，始于明堂祭祀上帝并以高祖配享。因朝会诸侯王列侯。
夏四月，大赦天下，所幸郡县，无需上交今年租赋。
长平列侯卫青薨。皇上为他起陵墓，像庐山之形。
皇上既攘却胡越，开地斥境，于是设置边地朔方，交阯二州，及翼幽并兖徐青杨荆豫益凉等州，共计十三部州，每州皆置刺史。皇上有感于过去的能臣及文武百官，老的老死的死，人才出现了短缺，就下诏说：“自古以来，有非常之功，必待非常之人。良马只有奔腾才能致千里，才士只有有异于凡俗的卓识才能成就大业。因此泛驾之马，卓异之士，也只有有赏识他的人驾驭它才行。其令州郡考察吏民，发现有