在广陵挑选良将，训练精兵，选拔了刘牢之、何谦等人，并训练出了北府兵。
太元三年，前秦征南大将军苻丕率步兵、骑兵七万人进攻襄阳，苻坚又另派十万多人，分三路合围襄阳，襄阳守将朱序死守近一年。
太元四年，襄阳城破，朱序被俘。苻坚又派彭超围攻彭城，秦晋淮南之战爆发。
谢安在建康布防，又令谢玄率五万北府兵，自广陵起兵应敌，谢玄四战四胜，全歼秦军。
太元五年五月，谢安因功被任命为卫将军、开府仪同三司，进封建昌县公。
太元八年，苻坚率领着号称百万的大军南下，志在吞灭东晋，统一天下。
此事的军情危急，建康一片震恐，可是谢安依旧镇定自若，以征讨大都督的身份负责军事，并派谢石、谢玄、谢琰和桓伊等率兵八万前去抵御。
谢玄手下的北府兵虽然勇猛。但是前秦的兵力是东晋的十倍多，搞得他有点紧张，只好去请教谢安。
谢安只说朝廷已另有安排，过后默默不语。