不久后，就抓获了制造混乱的人，张辽将他杀死。
建安十四年（209年）十二月，袁术残部陈兰、梅成煽动氐六县（今安徽六安）的民众叛变，曹操派于禁、臧霸等领兵征讨梅成，命张辽督率张合、牛盖等人征讨陈兰。梅
成假装投降于禁，等于禁撤军后，梅成就跑去陈兰会兵，一起遁入灊山（今安徽潜山西北）。
灊山有一座天柱山，高二十里，山势险峻，道路狭窄艰险，宽度仅容一人通过，陈兰等人在上面筑起营垒据守。
张辽打算进军，众将以路途险阻为由劝他，张辽则表示谁勇敢谁就能抢占先机。
随后张辽前往山下安营，之后率军攻击，斩杀陈兰、梅成二人，尽数俘虏他们的部众。
曹操嘉奖张辽在此战中的功劳，增加了他的食邑，并授予他假节。
建安十九年（213年）五月，孙权率军攻击皖城（今安徽庐江），张辽从合肥（今安徽合肥）率军驰援，到硖石听闻城池被攻破，便在硖石以南修筑堡垒，称之为南硖戍。
建安二十年（215年）曹操征讨孙权返回后，张辽同乐进、李典等人率七千多士兵驻扎在合肥。
之后曹操征讨汉中张鲁的时候，留下一封信给护军薛悌，并写上“贼至乃发”四个字。
同年八月，孙权率领十余万军队围攻合肥，众人打开信件，曹操在信中命令，张辽、李典出击迎战孙权，乐进守城，薛悌不得参战。
众人都感到疑惑，张辽向众人表示，曹操的意思是趁敌人立足未稳的时候，出击挫败他的气势，稳定军心，这样才能更好防守。
随后张辽连夜募集敢死之士，前后召到800人，张辽杀牛犒劳士兵，并打算明天出战。
天刚亮，张辽就率先攻入敌阵，斩杀两名将领，十余名士兵，此后又大声呼喊自己的姓名，冲入孙权的营垒当中，一直到孙权的帅旗下。
孙权及其部下向高处撤退，后见张辽所带士兵较少又将其包围，张辽两度突出重围，战斗从早上直至中午，吴军士气丧失殆尽，退守修筑防御工事。
合肥城内见吴军退走心才安定了下来，众将都十分佩服张辽。
此后孙权又围攻合肥十多天，眼见不能攻破，便率领军队返回。
当时孙权身处逍遥津北，张辽率领军队奇袭，吴军将领甘宁、吕蒙、凌统迎战。
见孙权已经逃走，张辽也就率领军队返回。曹操钦佩张辽的勇武，授予他征东将军的职务。