谢玄在此期间招募刘牢之、何谦、诸葛侃、高衡、刘轨、田洛及孙无终等骁将，整合他们麾下以流民为主的军队，组成了赫赫有名的"北府兵"。
北府兵战斗力极强，不仅巩固了陈郡谢氏的势力，更为江左华夏政权的存续提供了坚强的保障。抗秦战争
孝武帝自登基以来，就一直面临氐族政权前秦的威胁，东晋西部的益州和梁州就在宁康元年（373年）冬被前秦攻陷。太元以后，随着前秦天王苻坚相继灭掉前凉、代国，完成了对中国北方的统一，对东晋的觊觎之心也就更加强烈。此后秦晋交界的江淮一带形势愈发紧张，大战一触即发。
太元三年（378年）四月，前秦派苻丕攻打襄阳，荆州刺史桓冲抵御，孝武帝诏命谢玄发徐、兖、青三州人丁，遣彭城内史何谦游军淮泗以为形援。何谦出兵是北府军的首次出战，从此以后，上下游桓、谢军队配合，彼此策应，以分前秦兵锋，形成东晋战略的一个特点，对于保障最终胜利起了重大作用。
同年七月，秦军也采取东西策应的战略，秦将彭超请攻彭城，与攻襄阳之苻丕相互呼应。
