就在1875年，北洋水帅初建，丁汝昌受到了同是安徽合肥人的李鸿章的赏识，任命为北洋水师提督，统领整个北洋水师，丁汝昌也不负众望，以治军严明著称，北洋水师精神面貌焕然一新！只是后来的一场甲午海战，将他以及北洋水师彻底断送了。
光绪二十一年（1895年），在威海卫之战中，指挥北洋舰队抗击日军围攻，但未得到上级命令，无奈港内待援，致北洋海军陷入绝境。最后在弹尽粮绝，援军来援的希望破灭之后，拒绝了劝降，在得到日军联合舰队司令伊东佑亨"不杀投降清军士兵"的保证后，吞鸦片自杀殉国！败下阵的清朝被迫签订《马关条约》，赔了好几亿白银。
他虽自杀，依然被清政府当成北洋海军全军覆没的罪人，朝廷不但没有任何抚恤，反而抄了他的家，下令在他的棺材上加三道铜箍捆锁，棺材和铜箍均以黑漆涂之，以示戴罪，并砖丘于其原籍村头，不得下葬。
