，准备从武都郡进入氐族部落；氐族人挡住道路，曹操派张郃统帅大军讨伐梁兴和氐族首领窦茂所部。不久从散关入汉中，派张郃率五千步兵在前开道，一直到阳平。张鲁投降，曹操回军，留张郃与夏侯渊、徐晃等守汉中，以拒刘备。同年，张郃别督诸军南下进攻巴东、巴西二郡，将当地百姓迁徙到汉中。刘备派征虏将军张飞为巴西郡太守，抗击张郃。张郃率军进至宕渠，与张飞相拒五十余日，张飞率精兵万余人从小道进攻张郃，由于山道狭窄，首尾不能相救，张郃大败，仅带十余人弃马爬山逃跑，之后收拢败兵，撤回南郑。升迁荡寇将军。
建安二十三年（218年），刘备进攻汉中，屯于阳平，夏侯渊、张郃、徐晃等率军迎击，张郃负责防守广石。
建安二十四年（219年），刘备亲自率精兵万余人，分为十部，夜间猛攻张郃。张郃率亲兵与蜀军进行对抗，刘备不能攻克张郃写信要求益州拨发援兵。诸葛亮一时迟疑不缺，从事杨洪劝道：“汉中是益州门户，没有汉中就没有益州，还迟疑什么？”诸葛亮恍然大悟，立刻发兵增援。其后，刘备退走马谷，放火烧营，夏侯渊知张郃兵少，调部分兵力来增援，并救火，途中遇上刘备军，被蜀军所杀。曹军大败，张郃同败军一起退守阳平关东。而当刘备听闻夏侯渊被斩杀，只说：“要杀就杀张郃，杀夏侯渊有什么用！”
司马郭淮和督军杜袭收敛散卒，郭淮见状，便说：“张将军是国家的名将，刘备也忌惮他。现在形势紧迫，只有张将军才能安定军心。”于是众人推举张郃出任主帅，指挥士兵，布置营寨，军心安定。不久，曹操遣使令张郃假节。刘备欲渡汉水来攻，见魏军在汉水以北列阵相迎，刘备于是放弃渡河，隔水相持。曹操亲自进攻汉中，不能取胜，于是撤出汉中的部队，令张郃屯兵于陈仓。
延康元年（220年），曹丕即魏王位后，任命张郃为左将军，进封都乡侯爵位。等到曹丕登基之后，又进封他为鄚侯，命令张郃与曹真率领兵马征伐盘踞在安定一代的卢水胡人和东部羌人。战斗结束后，曹丕又在许昌宫召见了张郃、曹真，派张郃南下与夏侯尚一起进攻东吴政权的江夏郡。张郃独自率领几路大军渡过长江，夺取了百里洲上的吴军堡垒。
曹叡即位后，派张郃来到南方，驻扎荆州，和司马懿一起进攻孙权的部将刘阿等人，大军来到祁口，与吴军激战，打败了刘阿所部。
太和二年（228年），蜀汉丞相诸葛亮大举北犯，天水、南安、安定三郡吏民叛应诸葛亮。