在汉武帝时期，李广的长孙李陵曾在天汉二年九月时奉命出兵浚稽山，迎战匈奴。当时匈奴单于身边有八万精锐骑兵，而李陵手中却只有五千可战之兵。但这五千精兵，竟然将匈奴八万多铁骑击败数次，以至于匈奴单于都不得不感慨，称这些大汉的精兵是无法被攻克的。然而就在这个时候，一个汉军的叛徒逃到匈奴的营地中，向单于告密，称汉军没有后援，弓箭也耗尽了，单于听后，当即出兵死战，五千汉军死伤惨重，仅余四百人撤回。纵然如此，这支重创了匈奴的精兵仍然令匈奴闻风丧胆，而这支军队，大部分的士兵都出自丹阳，乃是最早的丹阳兵。
正因为丹阳兵在骨子里就流淌着骁勇善战的血液，因此到了群雄割据的三国时期，丹阳兵就逐渐成为了当时最强的战兵。当年曹操的父亲在陶谦不幸遇难，曹操集齐大军攻打徐州，最终却没能胜过徐州的陶谦，其中有一部分原因就是陶谦手中握着三万丹阳兵。虽然陶谦手上没有能征善战的名将，但他却凭借着这三万丹阳兵让曹操三次铩羽而归，足见丹阳兵的厉害。
在曹操攻打徐州时，刘备曾到徐州援助陶谦，陶谦见刘备手中士兵战力薄弱，于是送给刘备四千丹阳兵，也正是这四千丹阳兵，让刘备在乱世之中有了立足的根本，虽说刘备在此之后屡战屡败，但从没有一次被生擒或是死战，这都是丹阳兵在刘备身边的原因。
