但是在1854年，两人就分开攻打了。李开芳率军南下接应援军，而林凤祥则继续困守连镇，内部既缺草，而且外部也没援军，以劣势来顽强抵抗清军。
清军的统帅将连镇层层的包围，待到雨季之时，进军又引水将连镇淹没，真的是使北伐军陷入了弹尽粮绝的地步了。但是此时的林凤祥却是镇定自若，还继续指挥突围作战，连对手清军的将领都说，都已经这样了，还能或战或守，从容不迫，林凤祥拥有着绝对的军事才干和大将的风度。
而李开芳率马队六百三十多名突围去临清迎接援军，在途中却又得知援军被击溃的消息，于是就入据高唐州，在朝西的城墙中用布挽做软梯，南城墙下穿有地道一条。其余三门俱用土木为垒，仅留缺口一处，以便出入，这就已经是完全做好了万足的准备了。于是就有了高唐州之战，最后，战士只剩下五百多人，于是李开芳连夜出东门，渡黄河南归。
