但是，由于清朝没有设立专门的海军司令部，无法对这4支海军部队进行统一指挥管理，使得这4支海军部队各自为战，难以形成合力。左宗棠敏锐地看到这一点，奏报朝廷请求设立海军衙门，专设海防大臣。清廷没有同意。
结果，在1884年进行的马尾海战中，当福建水师遭到法国舰队袭击时，由于没有统一的指挥机构，北洋水师、南洋水师、广东水师竟然只能作壁上观，没有及时增援，导致福建水师全军覆没。
清朝付出了一支舰队的代价，终于认识到设立海军衙门的必要了。1885年10月，清廷正式设立总理海军事务衙门，即海军衙门。海军衙门设总理大臣1人，相当于海军总司令。慈禧太后任用了她最信任的人，即醇亲王奕譞，担任海军衙门总理大臣。海军衙门另设会办大臣两名，分别由庆郡王奕劻、直隶总督李鸿章担任。
奕譞虽然是海军衙门总理大臣，但他不懂军事，在海军建设上更是一窍不通。可他有一个好处，就是比较开通。他知道李鸿章比自己更懂得海军建设，索性放手让李鸿章去干。因此，海军衙门的实权实际上是掌握在李鸿章手里。
