台儿庄一战，日军上下均深以为耻，尤其是华北方面军，上到司令官寺内寿一大将，下到普通士兵都憋着一口气。
第五战区的迎头棒喝虽然给日军造成了相当的损失，但同时也激怒了这帮恶魔。
在发现徐州地区有中国军队的重兵集团集结之后，华北方面军认为逮住了沉重打击中国军队主力的好机会。
所以，华北方面军就决定以四个师团向陇海沿线进攻，封锁兰封以东地区，切断中国军队退路，以主力南下，进攻徐州。
与此同时，日本华中派遣军派出三个师团从南面策应华北方面军作战。
他们企图一举消灭中国军队主力，占领徐州要地和津浦铁路全线。
关于进攻方案，寺内等人进行了细致的研究，决定在北线出动5个师团的兵力进攻徐州。
即先以一部用连续作战的方法，吸引和牵制住徐州以北、津浦路以东的国军；主力进至徐州以西、以东、以南地区，进行迂回。
与华中派遣军协同，截断国军的退路而围歼之，并占领徐州与附近地区。
5月25日，华北方面军司令官寺内寿一大将，按照大本营的要求，正式下达了攻取徐州的作战命令，并明确各进攻部队之任务与部署：
根据方面军司令部的命令，捻彦王的第2军将配属独立重机枪第6、第10大队，独立轻装甲车第10、第12中队，野战重炮兵第1旅团，并指挥第14师团、第五师团、第114师团、第16师团进攻鲁南。
其中、末松茂治之第114师团，接替第14师团在藤县地区防务后，在装甲和炮兵部队的配合下，与第5师团对韩庄、峄县、临沂一线的中央军，首先予以阻止，然后南下攻占徐州。
板垣征四郎的第5师团，由临沂南下，经郯城至陇海路的运河地区，急速从徐州以东、东南的邳县、土山、渔沟、路疃集、尹集，迂回至津浦路上之符离集和宿县。
中岛今朝吾的第16师团（原属第1军），由济宁地区渡过大运河然后南下，在第14师团的西侧，由金乡、单县、攻向徐州以西陇海路上的砀山。
土肥原贤二的第14师团，在进攻开始前，将藤县以北之防务交与第114师团之后，在薛城以西之夏镇渡过微山湖，在湖西之沛县、丰县，攻向以南陇海路上的黄口、郝寨地区，遮断徐州守军向西之退路与补给线。
与此同时，香月清司之第1军配属独立重机枪第4、第5、第9大队，独立轻装甲车第1、第5中队，战车第2大队，独立山炮兵第1、第3联队，野战重炮兵第2旅团（重炮兵第5、第6联队），独立野战重炮兵第8联队，迫击炮第3、第5大队，一并指挥第山岗厚重之108师团协同作战。
该部的作战任务是，以108师团一部由河南省新乡乘火车经天津至山东济宁，然后至运河以西的鄄城地区，接应师团主力由濮阳以东之濮城、杨集地区渡至黄河以南，沿鄄城、菏泽、东明攻向兰封，并从兰封以东地区切断陇海铁路。
随之，即沿铁路向西进攻，以阻止中央军沿陇海路增援与后撤，策应第2军在徐州地区作战。
此外，华北方面军司令部还将德川好敏之航空兵团主力调往鲁南战场，并决定在第2军开始进攻时，以主要力量予以协同、配合。
在进攻徐州时，对中央军的后方要地进行攻击轰炸，实施空中和地面之航空歼灭战。
同时阻止中央军的反攻，配合地面兵团扩大战果。
而在华北方面军下达作战命令的前一天，华中派遣军司令官畑俊六大将也下达了相关命令，确定以两个主力师团从蚌埠向北由津浦路以西攻向徐州；一部由马鞍山渡过长江经和县、巢县攻占合肥；另一部由苏北的东台向北进攻，占领盐城、阜宁，在徐州以南牵制住国民党军部队，策应其主力向徐州进攻。
各师团之任务为：吉住良辅之第9师团、荻洲立兵之第13师团，由临淮关、蚌埠、怀远地区渡过淮河之后，以两个师团并列沿津浦路西攻向徐州。
第9师团由临淮关渡过淮河，然后沿淝河经新集、王寨、萧县，迂回至徐州以西地区。
第13师团由蚌埠、怀远渡过淮河，与右翼第9师团平行，经河溜、双河集、蒙城、曹市集、石弓集、永城、张庄寨，迂回至徐州以西，遮断陇海铁路，在第9师团的协同下攻占徐州。
第6师团坂井德太郎少将之第11旅团，从马鞍山地区渡过长江，经和县、巢县攻占合肥。
第101师团佐藤正三郎少将之第101旅团，从苏北之东台北上，攻占盐城、阜宁，以策应徐州作战。
第3飞行团，主力以南京、蚌埠机场为基地，集中使用于徐州方向，直接协同地面部队进攻作战；一部担任南正面之空中警戒，适时与中央军之空军作战。
日军经过了长时间的准备，所以其行动极为迅速，在作战命令下达之后，南北两线多路部队就迅速行动了起来。
这一次日军真的是下了血本，华北方面军和华中派遣军两大集团集结了十三个师团的精锐部队，总兵力约三十万人马，就兵力而言，已经超过了几个月前的淞沪会战。
而且这次日军配备的武器装备也极其的豪华，不仅仅有两个旅团的野战重炮，还有大量的坦克等重武器，此外还辅以飞机数百架，可以说是将家底子都搬了出去。
此外这一仗他们还采取南北对进，侧翼迂回的战术，分六路向徐州施行包围进攻，企图以速战速决的手段包歼中国军队主力于徐州附近。