癸好三年正月，大军下江南，开芳先到南京，攻聚宝门。既克南京，命开芳与林凤祥、罗大纲取镇江、扬州。三月，下诏北伐中原，以开芳为大将。四月，破临淮关，下凤阳府。五月入河南，从巩县渡河攻怀庆府，七月底西趋山西，复折而东，由河南入直隶境。九月，前锋直指保定，清京大震。叙功封定胡侯。旋经沧州北上，屯军独流镇，与凤祥静海军营声息相闻，清军不敢犯。
明年二月退到阜城，平胡侯吉文元战死。三月，再退到东光连镇。四月，开芳率马队六百三十多名突围去临清迎接援军，在途中知援军溃败消息，就入据高唐州，与跟追的清朝钦差大臣胜保军相拒。开芳在朝西等城墙用布挽做软梯，南城墙下穿有地道一条。其馀三门俱用土木为垒，仅留缺口一处，以便出入。五月初十日（夏历五月二十日）以后，常乘黑夜出城袭击，每攻一处，清军马队辄被冲散，多所杀伤，而六月十九夜（夏历七月初一夜）尤甚，先把吉林马队冲散，又从南面扫荡到西南面，一直打到胜保大营后，胜保愈惶恐，惴惴自保。
开芳入守高唐州时，即派人回连镇向凤祥报告援军已溃散的消息，请即撤退到来，他在高唐州等候，一同南归。到乙荣五年正月，凤祥军覆，清帝奕詝拿问胜保，命僧格林沁移军赴高唐州，合胜保所部来围攻。开芳见僧格林沁兵到，知凤祥军已覆没，始决定突围。时战士尚存五百多人。二月初十夜（夏历正月二十九夜），开芳率领出东门，纵马向东南急驰，打算经济宁入江苏丰县，渡黄河南归。
第二开晨，驰到茌平县冯官屯。僧格林沁带马队追到，步兵也跟着到来，把冯官屯围困，四面筑炮台，向村内轰击，房屋尽被击塌。太平军在村内掘挖土濠，盘旋三匝，可从地下通行，即在沟内掘窖潜藏，以避炮火。围濠之外，复挖小孔，战士伏在地下，向外瞭望，俟清军逼近，鸟枪打得到的地方，即向上开枪。清军伤亡累累。僧格林沁不敢进逼，他展转筹谋，因冯官屯旁旧有汉河，可通途运河，乃用水攻，引放运河以灌冯官屯。
太平军从屯内向西南面的清军礮台边开地道，打算轰开缺口突围。三月初八夜（夏历二月二十八夜），先向这一面佯作突围，与清军略一接触，即诈败退回。清军自以为防守严密，太平军不会再从这方面来突围了，不加警备。第二夜，太平军就在这裹放地雷把炮台前的濠墙炸塌，立刻冲出，斩杀清军。清军仓卒失措，四散逃命。时炮台外还有围濠一道，太平军正在赶急填濠，僧格林沁已闻警，飞调大军到，扼濠堵截。太平军苦战不能过濠，乃把炮台上的大炮和其他军器一起俘获，从容退回沟内。清帝奕詝得败报，命军机大臣傅谕僧格林沁等叹息说：「甚至伤亡兵勇，遗失炮位，似此情形，……以万馀兵勇，围数百之贼，百计经营，迄无把握，朕心宝深焦灼」。
