4月28日凌晨，总攻命令下达后，台儿庄外围的中国军队率先发力。
三点整，隶属于暂编第12师的七千余人，从台儿庄东南方向出现在日军背后，对横山静夫所部发起猛烈地进攻。
与此同时，第二集团军也全速出击。田镇南的30军在台儿庄以北与台儿庄东北的黄樵松第27师协同，攻向刘家湖。
值得一提的是，位于台儿庄北部的汤恩伯所部，在接到了蒋委员长的严令之后，也摆出了拼命的架势。
而他们当面的日军也发了疯一样，集中机械化部队3000人攻打兰陵一带，以求突破外线。
当下，汤恩伯指挥第20军团的两个军向敌发动猛攻，对日军占领的村子，全部用机枪封住村口，再放大火，汤称此为“堵洞灭鼠”之法。
一时间，将刘庄、马庄、柿林园等村里的日军杀个干净。
所部第52军也在中午攻克了兰城店、三佛楼、一部还攻克了峄县东南的水湖、王庄；85军张雪中的89师，从峄县以东的九山、双山攻向峄县。
但从临沂西进增援的敌坂本顺旅团及配属的炮兵、坦克部队已到达向城及以南的作字沟，其先头一部在作字沟西南的爱曲与陈大庆的第4师接触。
汤恩伯根据这一情况，决定：首先围歼从临沂至向城、爱曲的敌军。
具体的战术的是，以关麟征的52军一部，监视台儿庄以北的敌人，主力向东北的向城、爱曲前进，围歼该地区的敌军，以王仲廉的85军从峄县、枣庄附近地区东进至兰陵镇、横山镇，阻止作字沟、爱曲之敌向台儿庄前进，掩护52军的左侧。
中国军队的全线反攻顿时让日军陷入了首尾不能兼顾的危险境地，之前埋下的陷阱此时也一一发挥作用，日军方面终于意识到台儿庄就是一个巨大的坑。
不管是土肥原还是板垣征四郎都知道麻烦大了，他们一边向第二军团部以及华北方面军司令部求援，一边则是指挥部队向台儿庄核心阵地突袭。
在他们看来，不管外围的中国军队有多少，只要他们外线的部队能和内线的不会合兵一处，这一仗就还有机会。
再不济，也不会被中国军队吃掉，突围还是有保障的。
在这样的情况下，28日上午，日军第5师团长板垣征四郎由青岛到达了临沂以北的汤头镇指挥作战。
此时，日军在台儿庄外围已经聚集了超过两万部队，甚至于两个师团长也全部到了。
而国军方面，在这一线的部队则是已经多达6个军13个师，这还不算藤县、枣庄一线的第22集团军以及第三集团军，还有临沂方向的第三军团、第59军等部队，如果算上这写部队的话，差不多有20个师。
不过值得一提的是，除了汤恩伯所部以外，所有部队全都是久战疲兵，战斗力并不强。
由于敌临沂增援的部队快接近台儿庄，韩佛寺前线的马铮与孙连仲商议之后决定，先集中兵力歼灭台儿庄内的敌军。即第31师协同攻入庄内的第27师、第30师进行反击，暂编第12师从外围杀入。
随后，位于台儿庄以东的第27师，组织约250人的奋勇队开路，于凌晨由东北角突入庄内，然后分割，聚歼敌人，以扩大战果。
而位于台儿庄以西的第30师以东南方向的暂编第12师从西北角突入庄内，以歼灭该地之敌。
凌晨五点钟，4个师准备妥当，随即同时行动！
暂编第12师最先行动，林建安所部一马当先，以迅雷不及掩耳击溃了当面的四百多名日军组成的临时防线，并将其分割包围，而后全歼。
与此同时，其余部队则是绕过战场，继续行动，完全是不管不顾的打法。
而第31师以及宋大为的新三团也在庄内发起反击，接着27师从东北角突进庄内并占领了东门以北的几座碉堡；30师则由西北角突至庄内，与31师内外夹击。
横山静夫所部遭到重大伤亡后，开始龟缩固守。
单单的一轮进攻，第30师以及新三团就歼敌五百余人，缴获各种枪械400多支，轻重机枪8挺。
此外，还缴获了两门儿九二式步兵炮。
黄樵松师则对台儿庄北面之日军实施反击，攻克了邵庄、园上、孟庄、击毁敌坦克两辆。
陈金照师向南洛、三里庄挺进，截断日军后路，并给日军增援部队以重创。