桂永清于二十三日得到此消息后，溃退中匆匆写了一道手令，令龙慕韩第八十八师替一零六师那个营接防兰封。而第八十八师师长龙慕韩在桂永清所部退走后，愤于桂永清将其留下当死子，亦于当夜擅自弃城逃走。

　　五月二十四日晨，土肥原派出第二联队由西向东攻打兰封，竟然发现兰封是一座空城。

　　与此同时，据守砀山的黄杰第八军第一零二师在日军猛攻下，师长柏辉章也下令放弃阵地西逃。日军第十六师团于二十四日占领砀山。

　　兰封和砀山的同时失守，不仅使围歼土肥原师团的计划泡汤，而且使兰封与归德之间的中国军队陷入日军东西夹击之中。

　　蒋介石闻知弃守兰封大怒，蒋电话责问桂永清再出狠言转告龙慕韩：拿不下兰封军法问罪！

　　五月二十四日，蒋介石令第一战区第十九集团军总司令薛岳指挥俞济时第七十四军、李汉魂第六十四军、宋希濂第七十一军、桂永清第二十七军由东向西，命第十七军团长胡宗南由西向东包围兰封、罗王寨、三义集、曲兴集一带的土肥原师团，于二十五日开始进攻。同时还告诫各军将领：“此次兰封会战，关系整个抗日战局，胡、李、俞、桂、宋各军，应遵照薛总司令所示任务，务于本月二十五日午后六时三十分全线总攻，务须于二十六日拂晓前将兰封、三义寨、兰封口、陈留口、曲兴集、罗王寨地区间之敌歼灭。如有畏缩不前、攻击不力者，按律严惩；如战役中建殊勋或歼敌俘获最多者，当特予奖给。希饬所部凛遵勿违为要。”

　　土肥原师团占据兰封之后，由于兵力有限，只好分兵占据要点，东至兰封，西至罗王车站，北至黄河岸边的夹河滩、兰封口、陈留口，各点皆有把守。

　　针对此，第一战区的办法是像拔毒刺一样，将日军各点拔掉。

　　第一战区司令官程潜将指挥部设在了离兰封近在咫尺的开封，并制订了第二次围歼土肥原师团的作战计划：胡宗南指挥第一军、第九十军和邱清泉的战车营，配属重兵营，攻击兰封以西的曲兴集、罗王寨；朱怀冰的第九十四师在黄河北岸截击日军的增援，切断其补给线；俞济时的第七十四军、孙桐萱的第三集团军第二十师，以及新编第三十五师、第一零六师等部，攻击兰封北面的三义寨；宋希濂的第七十一军攻击兰封；李汉魂的第六十四军攻击兰封西面的罗王车站；商震部守备开封至郑州之间的阵地。

　　五月二十五日，薛岳指挥豫东兵团对土肥原第十四师团发起猛攻。

　　凌晨，军长宋希濂来到孙庄指挥所，接到第八十七师师长沈发藻与第八十八师师长龙慕韩的报告，两师已借夜色掩护，接近敌阵地。五时，宋希濂下达了向兰封城攻击的命令。沈、龙二师兵分两路向敌军据点发起冲锋。

　　第八十八师一路冲杀，先头部队于九时许逼近许楼。占领许楼的日军一部在村内凭借断壁残垣做掩护，向攻击部队射击，一部占领许楼东南之国防工事顽抗。许楼东南国防工事，筑有机枪、迫击炮掩体群，掩体群之外，掘有壕沟。日军以迫击炮向第八十八师攻击部队猛射，并与村内日军的轻重武器构成交叉火力网，一时将攻击部队压迫于许楼以南的开阔地中。龙慕韩命炮兵集中火力，轰击盘踞于国防工事内的日军，然后向村内之敌猛射。攻击部队在炮火掩护下，向敌阵地逼近。炮火停止之后，攻击部队正待发起冲锋，日军骑兵却从城内驰来，配合步兵发动反冲锋。攻击受挫。龙慕韩将第二梯队推上前线，又命迫击炮向前节节推进，向敌据点猛攻。至十二时，龙师攻克赵庄、杨庄。宋希濂即命该师停止攻击，固守阵地，待沈师进至城垣附近，再协同攻城。

　　由于兰封东南部地势平坦，兰封城外日军凭借铁路路基固守，第八十七师进展颇为困难。激战至正午，仅接近西岗头、张寨附近，且伤亡众多。至下午三时，第八十七师突破日军铁路一线阵地，扫清兰封东面之敌，城外日军向兰封城逃走。第八十七师接连攻克兰封城东南的王寨、张氏寨，右翼部队也推进至城外的高邵关、惠姚一线。

　　当宋希濂正待下达总攻命令时，日军步炮骑兵进行反攻，将许楼攻下，并占据国防工事顽抗。宋希濂见两师伤亡惨重，便命两师由攻击部队就地构筑工事，固守已克据点，准备攻城。

　　下午，天空飘起细雨。宋希濂担心小雨久下不停，给部队攻城造成困难，随即召集沈、龙两师长及炮兵营长会议，下达夜间攻城的命令，要求攻击部队不惜一切代价，攻克兰封。

　　晚七时，总攻开始，中国军队的大炮向日军据点猛烈轰击，火光映红了兰封城郊。第八十七师在炮火掩护下由城东南发起攻击。第二六一旅很快攻占梁庄，继而向二里寨、田庄逼进，第五一八团已攻抵许楼附近，与日军激战。兰封城垣已距离不远。第八十八师的进展更为迅速，由于重炮营集中火力向南门及城墙西南角猛轰，致使城内之敌一时无法增援外围据点。兰封车站被八十八师一举攻克。龙慕韩见兰封车站已克，即命部队准备携云梯爬城。不料，日军组织反攻，兰封车站又落入敌手。龙慕韩大怒，命部队不惜一切代价，夺回车站。激战至晚十时左右，龙部终于将兰封车站占领，部分官兵已冲至南门花园附近。龙慕韩遂命预先组织的爬城队，分成数批，逐次前进，直逼兰封城下。这次攻城，第八十八师投入一百余人，除少数伤兵于火线爬回来外，其余全部壮烈牺牲。龙慕韩见爬城失败，急命重炮营再向城区轰击，同时命爬城队分成几个梯队，前仆后继，继续攻城。但由于日军顽强抵抗，攻城部队发起的三次攻击均告失败。第八十七师攻击部队为日军的密集火力所阻，进展维艰，至次日凌晨三时，始以重大牺牲攻克田庄，此后便难以接近城垣。

　　宋希濂见两师激战已近一昼夜，伤亡惨重，遂命全军休息，并确保已攻占据点，计划于二十六日晚十时继续攻击。

　　罗王位于兰封以西，虽然是个小村庄，却比兰封城还要坚固。在罗王车站和罗王寨外围，均建有钢筋混凝土浇筑的永久工事，这些原本抵抗日军的工事现在反而被日军抢占利用了。

　　攻打罗王的是李汉魂的粤军第六十四军，其任务是攻击罗王寨以夺取其西侧的罗王车站。对付工事，最好的办法就是炮轰。李汉魂毫不吝啬地将所有可能的炮弹朝敌人工事阵地招呼过去。日军阵地瞬间成为一片火海，中国官兵随即不顾一切地向前冲锋，日军拼死反击，粤军伤亡枕藉，李汉魂觉得这样不行，又把部队召回来，重炮再次轰击，随后发动第二次攻击，两军反复争夺，战况惨烈。经过两进两出，粤军官兵已是尸横遍野，令人涕泗如泉。

　　同为粤军的薛岳亲赴罗王前线，没有下令进攻，而是下令吃饭。李汉魂当着薛岳的面，下达了三攻罗王的命令。

　　吸取前两次的教训，李汉魂要求，这次炮兵必须跟随步兵一道前进，到接近车站时再发炮，直到把站内也轰到荡然无物时才允许步兵进站。炮火一停，双方再次激战。关键时刻，胡宗南部从罗王寨侧后迂回插入，并以重炮轰之。战至二十六日，第六十四军夺回了罗王车站。

　　二十六日入夜，宋希濂对攻城部队作了重新布置，命两师在侧重攻击东、南两门时，增加攻击点，以分散敌人火力。同时，他命令山炮营将数门大炮移至城垣附近，直接向城墙射击，重炮营则向城内散射，以威慑城上守敌。攻击打响后，两师部队悄悄接近日军外围据点，进行突袭。至午夜，第八十七师攻克二里寨，炮兵向城垣射击，城墙被轰开几处缺口。此刻，重炮营也向城内开火，兰封城内炮声四起、火光冲天。未等日军反应过来，沈、龙两师攻击部队发起冲锋。第八十七师以主力直捣东门，其余部队分成数路，从多处攻城。第八十八师也一举攻占花园、李庄，扫清城外残敌，开始攻城。二十七日凌晨二时以后，两师攻城部队终于打开几个缺口，第八十八师在西南面爬登了两处，第八十七师在东西爬登了一处，登上城墙的官兵以刺刀、大刀同日军展开肉搏，终将敌人赶下城垣，获得了立足点。三时许，第八十八师一部杀开血路，冲入城内，日军开始往三义寨方面撤退。至此，沦入敌手的兰封城，经过三日血战之后，乃告克复。

　　五月二十七日，第六十四军攻占罗王集。在罗王寨内，缴获军刀一柄，此刀正是第十四师团师团长土肥原贤二身上佩刀。佩刀是一将军尊严所在，由此可见，不可一世的土肥原贤二在中国军队的攻击下是如何仓皇而逃。此战后，第六十四军军长李汉魂赋诗一首：

　　悼罗王砦

　　罗王血战摧残敌，滚滚黄河泛豫中。

　　国脉千钧悬一发，胡尘万里障双瞳。

　　哀师有道应多助，真理无偏本大公。

　　举世滔滔天下事，扫除荆棘振英风。

　　罗王车站和兰封的收复，使陇海路恢复了通车，被隔断于归德附近的四十二列满载物资的火车得以撤回郑州。

　　日军第十四师团主力收缩至三义寨附近，被豫东兵团所包围。绝望之际的土肥原贤二唯一能做的，就是摸摸自己身上剩下的那柄短刀了。如不能突围，土肥原只能按照日本军人的标准程序在黄河岸边破腹自杀。

　　据薛岳预计，再有两三天的时间，就有全歼土肥原的可能，不料正在这千钧一发的时候，守归德的黄杰又逃跑了。

　　原来，日军第十六师团及混成第十三旅团，二十六日攻占虞城，同时向归德外围阵地进攻。当夜，黄杰第八军退至归德郊区一带。二十七日，程潜电令黄杰，务必死守归德，在兰封地区日军被击歼前，不得放弃。但黄杰根本不执行战区司令长官的命令，竟于二十八日擅自率第四十、第二十四师退向柳河、开封，将第一八七师留防归德。

　　五月二十八日，土肥原贤二决定将突破点选在桂永清的第二十七军防守的阵地。土肥原贤二相信，一个没有血性的军人，不会只退一次，而是一退再退。结果，当日军向第二十七军阵地反击时，桂永清又一次独断命令各部队向阳堌集、红庙间地区转移阵地，沿途抛弃无线电机及武器弹药，情形颇为混乱。

　　土肥原贤二判断完全正确，第十四师团突围成功。

　　这就是为何土肥原贤二能够充当日在华特务头子的根本原因，他对中国人的理解比中国人对中国人的理解还更加深刻。

　　桂永清、黄杰，都是蒋介石倚重的嫡系将领，其率领的军队亦是中央嫡系部队。嫡系部队在，蒋介石的位置就在；嫡系部队不在，蒋介石的位置就不在。保住嫡系部队，无论是以什么样的方式，都会得到蒋介石的宽恕，这就是公理。

　　也就在同日，蒋介石发来手令，称：“兰封附近之敌，最多不过五六千之数，而我以十二师兵力围攻不克，不仅部队失责，彼此推诿，溃败可虞；即使攻克，在战史上亦可为以千古笑柄。”

　　不幸，此战确实成为千古笑柄。

　　五月二十九日拂晓，师长彭林生率第一八七师退走，归德要点被日军不战而占领。

　　归德一失，豫东门户洞开。土肥原盼望的援军源源不断而来，严重地威胁了进攻日军第十四师团的薛岳军之侧背，第一战区被迫调整部署。

　　蒋介石这时看到兰封的败局已定，就电令各部队向平汉路以西后撤。撤退令一下，豫东战场军心涣散，士兵开始大量溃逃。

　　突围而出的土肥原贤二望着身边滚滚黄河，一改含蓄阴冷的表情，纵情大笑。

　　溃师如蚁，土肥原贤二无法想象，失去战斗意志的中国军队还能如何抵挡大日本帝国皇军的进攻！

　　土肥原重新占领了兰封。

　　兰封再往西不足百里即是省会开封，开封再往西百里，即是平汉路、陇海路枢纽——郑州。

　　日本大本营于五月二十九日决定追击行动停止在兰封、归德等地，并下达命令：“未经批准，不许越过兰封、归德、永城、蒙城、正阳关、六安一线进行作战。”但日本华北方面军根本不听大本营的命令，于六月二日将第十四师团也配属给第二军，并下达了向兰封以西追击的命令。

　　土肥原贤二将目光转向了河南省会开封。

　　此时，开封仅仅留有宋肯堂第一四一师一个旅的兵力守卫，失守已成定局。

　　六月三日，日军第十六师团沿陇海路南面攻占杞县、通许、陈留，直逼开封。四日，日军第十四师团向西进击，与第十六师团合攻开封城。五日夜，日军从西北角攻城。六日凌晨一时许，宋肯堂率部退走，省城开封失守。

　　随后，日军第十六师团向南占领尉氏、扶沟。日军第十师团向西占领柘城。此两路日军欲图绕过郑州，趋向豫中重镇——许昌，切断平汉路。

　　由开封、中牟至郑州仅有七十公里，近在咫尺。此时的郑州虽然还只是一座县城，却已经成了中原要冲。陇海线和平汉线两条铁路大动脉在这里交会。如果土肥原夺下郑州，这两条铁路线就在日军控制之下了。如此，日军沿陇海铁路向西，攻取洛阳和西安，进而窥伺汉中，威胁西南大后方；沿平汉铁路向南，长驱直入直取中国的战时首都武汉。

　　此时，日军狂言一月攻取武汉。

　　这种局面是蒋介石最害怕见到的，也是无法接受的。