为进行南进作战，日军第2军第10师团于2月间组成了以第33旅团为基干的濑谷支队(3月1日濑谷启少将替代田荣次郎少将，任第33旅团旅团长)
濑谷启于3月8日到达兖州接任支队长，当日晚20时接到第10师团“作甲第119号”命令，令其作好进攻准备，以便“在适当时机击灭津浦沿线之敌”。师团参谋长堤不夹贵大佐还同时下达了书面指示，要求该支队“以主力攻击时，须先进入界河附近，尔后按当时情况，期望能一举追至滕县南面地区”。3月13日，第10师团师团长接到第2军令其“击灭大运河以北之敌”的命令后，立即又向濑谷支队下达了应“追击到临城”的补充指示。
第五战区第22集团军发现当面之敌从3月4日起不时以小分队向第125师阵地实施威力搜索，日军飞机也频繁进行空中侦察，判断日军将发起大规模进攻。为将敌军阻止于滕县以北地区，3月10日前后，孙震重新调整部署：将控制于临城地区的总预备队第122师师部及第364旅移驻滕县，将第124师师部亦由利国驿移驻滕县，并任命第122师师长王铭章为第41军前方总指挥，统一指挥第122师和第124师。王铭章将第122师的第364旅部署于滕县以北约8公里的沙河一带构筑阵地，加强正面防御的纵深；令第122师的第366旅进出至滕县东北约50公里的城前地区，掩护第45军第一线部队的右侧翼。这时第45军第125师的第375旅主力在界河东西之线，第373旅主力在普阳山，第127师主力在龙山地区。
3月14日拂晓，日军濑谷支队在飞机、战车掩护下，从两下店开始向中国军队的阵地进攻，很快突破了石墙、下看埠、白石山以及香城等前哨阵地，进至深井、界河、普阳山及龙山等主阵地带以北之线。第22集团军第一线各部依托既设工事顽强抗击。日军猛攻竟日，中国军队虽然伤亡甚众，但阵地屹然未动。
15日拂晓，日军除继续由正面进攻外，还加强了两翼的攻势，并企图迂回至主力阵地侧后。右翼龙山一带因地形有利，又有第127师主力防守，所以形势尚稳定；左翼深井方面，第370旅力量薄弱，伤亡太大，形势危急。王铭章急调滕县城中仅有的一支战斗部队——第124师的第372旅至深井以南的池头集建立第二道防线，以掩护深井第370旅之后背，并加强纵深防守能力。
由于第22集团军的作战指导是企图以阵地防御将日军阻止于滕县以北，所以在日军进攻前后逐次将主要战斗部队全部部署于滕县城北各地，滕县城关地区仅有第122、第124两个师部及第364旅1个旅部，共有4个特务连的战斗部队。当战斗进展激烈、城外各阵地伤亡急剧增加、形势极为严峻时，第五战区电令孙震：“滕县为津浦路北段要点，关系全局，应竭力死守。”同时告知第20军团第85军正在驰援途中。孙震将情况及命令告知王铭章后，王铭章决定加强城防力量，固守待援，立即电令城前第366旅迅急回援滕县；令第364旅炸毁铁路大桥，留1个营防守北沙河，1个营防守城西洪町，其余撤入城内；令临城的第41军特务营赶赴滕县。
15日黄昏时，界河阵地已被突破，龙山被敌包围。由城前返回的第366旅仅先头1个营撤回滕县，主力在城头村附近与日军迂回主力部队遭遇，被迫向临城方向退走。至15日夜，滕县城关地区的部队虽然番号很多，但实际战斗部队仅有11个步兵连、1个迫击炮连，共约2000余人；此外还有师、旅部的4个特务连约500人，滕县地方武装约500人。总计约3000余人。由北沙河退入城中的第122师第364旅第727团团长张宣武受命为滕县城防司令，统一指挥城关各战斗部队。他部署由城前退回的第398旅的1个营防守东关，令第727团1个营防守东、北面城墙，令由临城赶来的第41军特务营防守西、南城墙；其余为预备队，控制于东门内。
日军濑谷支队进至滕县附近时将部队区分为两队。其支队主力进攻滕县，第63联队配属一部炮兵及战车，由辛庄、中顶山迂回至滕县以南，切断滕县中国军队的退路，并向临城攻击前进。
16日8时，濑谷支队留一部兵力继续进攻北沙河，主力迂回向滕县发起进攻。先对东关进行了约2小时的炮火准备，然后集中火力将东关外围土围墙轰开一个缺口，在猛烈机枪火力掩护下，以约2个小队的步兵向缺口处冲击。守军以密集的手榴弹火力封锁了缺口，并将敌击退。10时至16时，日军对东关连续发起了5次冲击，均被守军击退。但守军伤亡太多，曾3次从城中调预备队补充。日军经整顿后，于17时许又组织第6次冲击，突击部队改以三梯队实施波浪式冲击，同时还延伸火力向东门及城内实施拦阻射击，以阻止城内部队增援。经激烈肉搏，至黄昏时，日军突击部队第三波冲入东关，兵力约1个小队。当夜，守军再由城内增调1个连组织反冲击，将突入之敌大部歼灭，收复了东关。24时左右，防守深井、池头集的第370旅、第372旅残部及防守北沙河、洪町的第727团2个营先后由西门退入城中。此时滕县城北第45军各部均已在阵地被突破后分向微山湖及峄县等地溃退。
17日6时许，日军在飞机、炮兵火力掩护下再度向东关进攻，仍未有进展。下午将主攻方向改在南城，先以15厘米榴弹炮集中火力轰击城墙，致城墙上的守军大部牺牲。激战至15时30分，日军由坍塌处突上城墙，迅速向东、西城墙扩张战果。守军残部由西门退至西关车站。不久，东关及西城门楼均为日军占领，仅余城内、北门及东北城角的守军仍在继续抗击，王铭章在城中十字路口附近指挥巷战。但在日军强大火力制压下，守军逐渐失去指挥。王铭章企图至西关车站组织该地残部继续防守，在转移途中中弹牺牲。城中守军残部仍人自为战，逐屋抗击。18日中午，日军完全占领滕县城。
当14日日军开始进攻时，第五战区司令长官李宗仁即致电蒋介石，请派军事委员会直接控制于豫东的汤恩伯第20军团第85军的第4师增援津浦路。经同意后即电告汤恩伯：“敌于津浦北正面增加兵力，大举反攻，以牵制我鲁南之作战，邓部(指第22集团军)兵少械劣，正面薄弱，两翼空虚，恐难拒敌，已电呈委座调贵军团85军驻商丘之一整师(指第4师)，由火车输送至滕县附近，作第22集团军之总预备队。”汤恩伯一方面向蒋介石去电：“恳明定本军归辖系统，以明职责”；一方面电复李宗仁：“恳将本军团全部调津浦北段出击，避免分割零碎使用，以益战局而杜分散，或作无代价之消耗。”实际上不肯令所部转隶别人指挥。当夜21时，汤恩伯接蒋介石来电，令其“85军即晚准备由商丘乘车经徐州向临城输送，务于17日拂晓前到达临城集结完毕”的命令，蒋同意第52军也随后东调，虽然隶属于第五战区，但全军团仍待汤“到徐州指挥”。汤这才复电李宗仁，应允令第4师出发。15日11时，李宗仁又电告汤恩伯：“铁道正面敌已突破界河阵地，进入二十里铺附近”，速令第4师“先头一部开往滕县附近，增加22集团军正面之抗战”，同时要求第85军“主力集结临城东北地区待机出击”。
16日，当滕县以北第45军阵地相继失守、第41军第122师已被围困于滕县城中、前线形势已极恶化时，第五战区还在计划将进攻的日军消灭于滕县以北。当日16时下达作战命令，主要内容为：“(1)敌为牵制我鲁南之攻击，现集中济南以南之兵力，由铁路正面向我22集团军猛攻中。(2)战区为击攘沿津浦线南下之敌，从铁道东侧包围该敌，将其聚歼于邹县以南地区。(3)第22集团军应在现地极力拒止敌人，俟85军迂回成功后，转为攻势，以收前后夹击之效。(4)第85军除一部直接支援第22集团军巩固滕县城防外，主力由铁道以东地区向下看埠亘邹县间迂击敌人，到达邹县南方高地附近后，相机向南与22集团军夹击两下店以南之敌而聚歼之。在迂回运动间，须派出极有力之右侧支队警戒前进。(5)第3集团军(欠51军)应全线对当面之敌反攻，并以有力部队由济宁以北地区向兖州以北攻击前进，努力遮断敌之归路并阻止其增援。”第85军第4师先头部队在到达滕县以南的南沙河时，与向临城迂回的日军第63联队先头部队遭遇。汤恩伯抱定“避免临城决战”的方针，急令第85军以“第89师舒旅(第267旅)占领临城、官桥正面”，“主力向东西集山、凤凰庄一带集结”，没有派部队增援滕县。17日晨，日军第63联队开始向官桥进攻，并以一部兵力向官桥以南的临城迂回。经战斗后，第85军退至峄县(今枣庄南)地区，第22集团军总司令部退至利国驿，临城为日军占领。
18日，第20军团的第52军到达韩庄、利国驿地区，以第2师的第8旅占领沙沟，掩护主力在运河南岸布防。
临沂地区战役
日军第5师团为配合津浦路正面第10师团的作战，其坂本支队在休整及增配战车中队后，于3月9日开始在飞机、大炮及战车的掩护下集中兵力，重新从汤头向临沂东北地区的第40军发起进攻。守军虽然拼死抗击，但阵地仍不断被敌人突破。沂河以东、汤头以南的白塔、沙岭、太平、亭子头等处先后失守。第40军被压迫至临沂城郊地区。
早在日军刚攻占汤头时，李宗仁就已电令张自忠的第59军“即日由滕县输送到峄县转赴临沂，接庞(炳勋)任务，击破莒、沂方面之敌，恢复莒、沂两县而扼守之”。此时，第59军正向临沂转进中。李宗仁为了使庞炳勋军与张自忠军能更好地协同作战，特派战区参谋长徐祖诒代表战区司令长官去临沂指导作战。并致电庞炳勋，大意为：临沂为台儿庄及徐州屏障，必须坚决保卫，拒敌前进。除已令张自忠部来增援外，并派本部参谋长前往就近指挥。庞炳勋接电后，重新调整部署，缩短了战线，以第115旅(欠第229团)防守桃园至蒋家庄之线，以第116旅防守蒋家庄至黄山之线，以第229团、补充团及军、师直属队为总预备队，控制于临沂城关地区，以第89师师长马法五为前线总指挥。
3月11日，徐祖诒和张自忠率第59军从峄县急行军，于12日到达临沂城西地区，当日召开作战会议。两位军长统一认识后，由徐祖诒以第五战区司令长官的名义于13日下达了作战命令。主要内容为：“(1)59军以一部确占石家屯一带高地，向葛沟、白塔间分途侧击，牵制敌人之增援；主力由船流至大、小姜庄间渡河，向南旋回，与40军呼应，包围歼灭敌之主力于相公庄、东庄屯、亭子头以南地区。在高里附近之陆战队暂归指挥。(2)40军以主力由沂河东岸与59军呼应，包围敌之主力歼灭之；在沂河西岸之一部，渡河侧击尤家庄附近之敌。(3)两军作战地境(略)。(4)以上各部着于13日晚准备完，14日拂晓开始攻击。”
第59军以第38师附野炮第1营为左翼，于13日16时出发，先以1个营占领茶叶山，掩护师主力在石家屯、刘家湖、钓鱼台地区向东展开；第113旅、第112旅为第一攻击部队，进攻张家庄、白塔、沙岭一带敌人；第114旅为预备队，随师部位于刘家湖。第180师(欠第81旅)附山炮第1营为右翼，13日16时30分出发，至前安静庄、大小妾庄地区向东展开；以第26旅担任第一线攻击部队，进攻徐太平、亭子头一带的敌人；第39旅为预备队，随师部位于中安静附近。军部在进攻开始时位于朱潘村。
14日4时，第59军各部强渡沂河，开始进攻，第39师在河西的部队亦同时向当面之敌进攻。第39师右翼第117旅进展顺利，击退当面之敌后进至东西旺庄、东西沙庄一线；左翼第115旅战斗终日，没有进展。第180师经激战后，于16时攻占亭子头，日军向南撤退。第180师跟踪追击，至15日，先后攻占徐太平、郭太平、大太平等六七个村庄。第38师进攻沙岭，遇到敌人的坚强抗击，激战两昼夜，仍无进展。16日拂晓前，日军增援兵力到达，转为反击，由沙岭从两个旅的结合部渡过沂河，向第38师后方“崖头、刘家湖、苗家庄、钓鱼台之线猛攻，并以飞机十余架轰炸”，与第38师预备队第111旅激战于崖头、苗家庄地区，并攻占了船流、刘家湖。
张自忠根据当时的战况迅速采取措施，调整部署：令第38师以有力的1个团加强茶叶山的防守，作为军的主要支撑点；令军部骑兵营由石家屯东渡沂河，向葛沟、汤头间出击，袭扰敌之后方；令进至河东的部队全部撤回河西，阻击渡至河西的敌人。双方在刘家湖一带展开激烈的肉搏争夺战，“刘家湖失而复得者四次，崖头失而复得三次。茶叶山一度被敌占领，旋即夺回”。至17日上午，第59军已伤亡6000余人，第一线作战部队的营长伤亡三分之一，连、排长已全部易人，但该部队仍坚守阵地，顽强战斗。此时日军因伤亡甚众，亦已无力发动强攻。张自忠掌握战机，集中全力组织反击，于当日黄昏后，利用敌人得不到飞机支援而又不惯夜战的有利条件，向河西之敌发动进攻。激战竟夜，以逐屋争夺的肉搏战将渡至河西的日军击歼近半。在日军遗弃的尸体中发现有第11联队联队长长野佐一郎大佐、第3大队大队长牟田中佐及第9中队中队长等多名军官。又据在刘家湖所俘一等兵玉利陆夫说，这次沂河两岸战斗，第5师团坂本支队伤亡约3000余人。日军大部退向莒县，一部退至汤头。张自忠令第38师的第114旅向汤头方向追击，停止于汤头以南李家五湖一线。其余部队除一部沿沂河西岸、茶叶山一带警戒外，全部集结到刘家湖一带休整。沂河以东日军在其主力北撤后，亦向傅家池、草坡一带撤退，第39师进至书家庄(树沂庄)一线。
李宗仁根据庞炳勋18日24时所报关于临沂方面日军损失情况(报告日军“伤五千余，亡三千余”)，判断日军暂时无力组织大规模的进攻，而19日峄县失守，津浦路正面形势紧张，于是于20日电令第59军留1个旅协同第40军防守临沂，主力转进“费县集结整顿后，乘虚向滕县南北地区，与由南阳镇附近渡河之第3集团军部队呼应，截击南下或北退之敌”。张自忠留第114旅归庞炳勋指挥，自率军主力于20日晚开始向费县转移。22日接到蒋介石电令，改令“以主力仍须与庞军团相协力肃清临沂当面残敌外，以约三至四个团经泗水进击曲阜方面，牵制敌人”，但此时军主力已离开临沂。
25日，第40军桃园、三官庙左翼阵地被日军突破，退守九曲店一带。第59军急从第38师抽调3个团，于当日20时西渡沂河，向已占领桃园、三官庙之敌实施夜袭，收复了桃园，但三官庙未能攻下。26日全天，沂河两岸均在激烈的反复争夺战斗之中。至黄昏时，第59军在桃园的3个团“出击受挫，复撤河西”；古城一带的部队在日军猛攻下，为“节约兵力”缩短战线，亦退至十里铺、前后岗头线。临沂形势又趋紧急。庞炳勋电告蒋介石：“职军伤亡殆尽，总计战斗兵现不满千人。”徐祖诒于26日15时亦电告李宗仁：“庞军兵力损失过巨……已失战斗力，张军实力虽剩半数，而士气较前甚差，非有生力援军，临沂难守，祈早决定。”李宗仁急调第57军第111师的第333旅及第20军团的骑兵团驰援。
27日拂晓开始，日军将主要进攻方向指向沂河以西的张自忠部。至28日夜，张自忠向李宗仁电告：“战事激烈为前所未有……职军两日以来，伤亡两千人，连前此伤亡达万余人。职一息尚存，决与敌奋战到底。”29日7时，第333旅到达临沂城东，下午，第20军团的骑兵团亦到达临沂城西。但此时日军第2军“因濑谷支队(台儿庄)方面的战况吃紧，命令第5师团救援濑谷支队。于是第5师团命令坂本支队暂时中止攻击沂州(临沂)，去救援濑谷支队。坂本支队队长在临沂附近留下步兵约2个大队，主力从29日夜开始缩小战线，撤兵南下”。临沂形势有所缓和。
3月30日，临沂守军发现日军“向北退却”，当即“令333旅沿沂河，骑兵团向艾山、义堂集一带追击”。日军第5师团师团长板垣征四郎在坂本支队西进后于3月31日进至汤头，接着又进至临沂西北的义堂集，指挥坂本支队留下的两个大队，将追击的中国军队阻止于汤头及义堂集以南，然后重新调整部署，增调部队，作再次进攻的准备。临沂地区虽然每日仍有战斗，但在日军发动大规模进攻前，形势相对稳定。在临沂地区1个多月的战斗中，第59军及第40军共伤亡1万余人。日军第5师团伤亡约3000余人，并未能完成攻占临沂的任务。这是该师侵入中国以来，继平型关受挫后遭到的第二次严重挫折。