抗日战争爆发后，任中共中央军委委员、中央军委前方分会（1941年改称华北军委分会）副书记、国民革命军第8路军副总指挥（9月11日改称第18集团军副总司令），协助朱德指挥八路军开赴华北抗日前线，取得平型关等战役战斗的胜利。1937年10月与朱德、任弼时向中共中央建议，恢复在改编为八路军时取消的政治委员制度，加强部队的政治工作。11月，在延安抗日军政大学发表《争取持久抗战胜利的几个先决问题》的演说，阐述中日双方敌强我弱必然转化的依据，提出整个抗日战场应当采取的作战方针，详细论述了发动游击战争与全民动员的意义和方法。

1938年起在华北敌后参与领导发动群众，创建抗日根据地，扩大抗日武装；指挥部队开展独立自主的游击战和有利条件下的运动战，挫败日军多次“围攻”和“扫荡”，同时与制造磨擦的国民党顽固派进行坚决斗争

1940年3月组织发起卫（河）东和磁武涉林战役，重创国民党顽固派军队，维护了国共合作抗日的大局。8月，为粉碎日军的进攻和防止国民党投降的危险，在华北指挥实施百团大战，对正太、同蒲、平汉铁路等重要交通线进行大规模破袭战，前后历时3个多月，进行大小战斗1800余次，毙伤俘日伪军4万余人，增强了全国人民争取抗战胜利的信心。

1942年8月任中共中央北方局代理书记，统一领导华北敌后的对敌斗争、整风学习、大生产和减租减息运动，巩固敌后抗日政权，实行精兵简政，领导军民渡过抗日战争最困难的阶段。1943年9月到延安参加整风运动。1945年6月当选为中共第七届中央政治局委员。8月被任命为中共中央军委副主席兼总参谋长，协助毛泽东、朱德指挥大反攻作战。