1944年春夏，侵华日军发动代号为“一号作战”的计划，旨在打通大陆交通线，摧毁中美空军基地，防止中美空军对日军中国战线后方与沿海补给线的打击。攻占衡阳是这一计划的第二阶段，也是打通交通线的必经之地。
此时负责守卫衡阳的是方先觉率领的国军第十军，名义上虽有4个师，满编应为3.3万人，可由于几个月前参加常德会战，损失惨重，尚未完成兵员补充，实际上只有相当于两个师的兵力1.7万人。日军指挥官横山勇所率领的是第十一军，下辖4个师团，另有炮兵部队、化学部队，总兵力达10万余人，敌我双方兵力比约为6：1。
方先觉，江苏萧县（今属安徽省宿州市）人，黄埔军校第三期学员，衡阳保卫战时任第十军军长，中将军衔。
1944年6月23日，日军发动第一轮进攻，方先觉率部与日军展开激战。日军在其飞机、大炮、坦克的配合下，对我阵地展开一波又一波冲锋。国军将士拼死抵抗，多次击退敌人攻势。气急败坏的日军竟发射芥子气和路易氏气混合毒气弹，我守军一个连除未在阵地的炊事兵等4人外，80余人全部中毒牺牲。
