第88师由孙元良将军指挥，其指挥部设在四行仓库。接到蒋介石的命令后，孙元良向他的上级顾祝同提出抗议，理由是这样的自杀性命令意味着88师会全军覆没。孙元良自然不想让自己的队伍覆灭，而顾祝同作为88师的老领导，对这支部队也有很深的感情。最后经权衡，蒋介石同意第88师大部分人员撤退，只留524团第1营驻守四行仓库。
88师其他部队撤退后，谢晋元中校带领524团第1营坚守四行仓库。一营官兵大多是来自湖北的新兵，当兵不到3个月，他们唯一的重型武器是4挺24式水冷马克沁机枪。414名官兵奋力加固防御工事，用沙袋堆起防弹墙，将邻近的建筑物烧毁，形成一个开放区域。
谢晋元当然知道自己兵力火力都严重不足，所以故意散布消息，中第1营标记为“第524团”，以迷惑日军。
图：谢晋元。
10月27日，国军大部撤出上海几小时后，日本第三师到达上海闸北。日军先派了10多名侦察兵进入四行仓库附近，探查第一营的防御部署。这些侦察兵被谢晋元部署的神枪手精准击毙。中午，谢晋元派出一队侦察兵前出，遭遇日军，双方发生交火。之后日军一个队伍从仓库西侧发起进攻，有70名日本士兵进入仓库守军的火力死角，守军立马在仓库楼上投掷手榴弹、发射迫击炮，打死日军7名。至当晚9点左右，守军只有2名士兵牺牲。
当时，几乎所有的上海市民都以为闸北的国军已经撤离，女童子军杨惠敏在凌晨时经过苏州河附近，听到了枪声，大感惊奇。她看到附近的英国士兵往仓库丢了一袋香烟，英国士兵告诉她，这些香烟是为仓库的中国守军准备的。她立即让英国士兵在投掷香烟的时候附上一张字条，询问守军是否需要弹药或食物。在她的帮助下，中国守军联系到了上海商会。10月28日，上海所有的媒体头条，都报道四行仓库守军的英雄事迹。
图：四行仓库外墙，密密麻麻的弹洞。
第二天，日军几次攻击都被击退，中国守军依然坚守仓库。由于仓库旁边就是英国租界，日本人当时并没有打算与西方列强撕破脸，所以日军第三师并不敢使用芥子气或空袭。相对于日本人的气急败坏，谢晋元表现从容。他在28日上午巡查防御工事时，发现一支日军部队在1000米外活动，他拿起枪击毙了一名日本士兵。下午，日军占领了仓库西侧的交通银行大楼，尽管无法对占据地理优势的守军作出有效攻击，但切断了仓库的水电线路。
