尚未安定，曹操命张辽屯军于长社。军队临出发之际，军中忽有谋反者起事骚动，半夜惊乱起火，全军尽受其扰。此时张辽对左右说：“不可。这一定不会是全营尽反，必然是引起叛变之人，想藉此惑乱他人而已。于是传令军中，只要不是反乱者安坐勿动。而张辽则带领亲兵数十人，守立于阵中。不久情况稳定下来，军中随即擒获首谋者，并将其杀除，亦告平定。
赤壁之战时曹操徙赵俨为都督护军，护于禁、张辽、张郃、朱灵、李典、路招、冯楷七军。
建安十四年（209年），庐江人陈兰、梅成占据氐等六县作叛，曹操于是遣于禁、臧霸等讨伐梅成，又命张辽督领张郃、牛盖等讨伐陈兰。当时梅成诈降于禁，于禁引军便还。不料梅成趁机会带其军众往投陈兰，二人转入灊山自守。灊山（今为安徽省潜山县）中有天柱山，高峻约有二十馀里，道路险狭，陈兰等众避于其上，山下进军难通。张辽意欲登山进兵，诸将皆说：“此山道路险恶，我军兵少，很难可以深入用兵。”张辽却说：“这正是所谓‘一与一，勇者得前耳’（只有勇者可以前进）。”于是进至山下安营，起兵上山攻击，终于斩下陈兰、梅成首级，尽虏其众。曹操论诸将功劳，说：“登上天山，踏过险峻，成功讨取陈兰、梅CD是荡寇将军（张辽）的功劳。”于是增其邑，假节。
当曹操征孙权无功而还时，任命张辽与乐进、李典等部领七千馀人马屯守于合肥。
建安十八年（213年），与臧霸同为征濡须口的前锋，攻破孙权江西营，擒获孙权都督公孙阳。
建安十九年（214年），孙权大将吕蒙奇袭攻下庐江的皖城，张辽在增援途中得知皖城失守，无奈被迫退军。
建安二十年（215年），曹操往征张鲁，先教护军薛悌，付其一书署名急函往合肥予张辽，上有字样云“贼至乃发”（贼军来到便拆信阅之）。不久东吴孙权率领十万大军进围合肥，合肥诸守将乃共同拆信视曹操所教，信中言道：“若孙权军来到，张、李将军出战；乐将军守护军，不得与战。”诸将皆为此感到疑惑。此时张辽便说：“曹公远征在外，待其救兵来时，敌军必定已攻破我们了。所以曹公教我等众将，待敌军未合便逆（迎）而击之，摧折敌军锋锐，以安众人之心，然后方可坚守。成败之机，在此一战，诸君何须疑惑？”
而李典亦与张辽持相同意见。于是张辽在夜间募集敢于逆击敌锐之士，共得八百人，于是开剥牛支让将士饱食，准备明日大战。天尚未亮，张辽被甲持戟，独