阎锡山以徐永昌为南路军总指挥、商震为北路总指挥，两路夹击奉军。10月1日，晋军占领正定，4日占领定州。张作霖因为当初南口之战曾帮助阎锡山解围，今天反而攻打自己，故将阎恨之入骨。阎锡山为了保住个人的地盘，也绝不含糊。张作霖、阎锡山都亲自来到前线督战。但是阎锡山有北伐军为后盾，急忙请来冯玉祥助阵，冯又转请南京政府赶快增援。因为奉军来不及集中兵力，所以晋军最初打了几个胜仗。晋军虽然号称十万，但是战斗力极差，实不堪一击，接战不久，便退回山西。所以10月7日以后，奉军又夺回定州、正定等地。京汉线北段战事基本结束，仅有晋军第四师师长傅作义组成挺进军占领京南的涿州，威胁到了北京，遂使形势发生了变化。张学良在高碑店坐镇指挥，攻城大炮竟有四十多尊，甚至动用飞机撒传单劝傅作义投降。奉军一连发动了三次总攻，动用了三万兵力，都被晋军击退。10月27日，张作霖下第四次总攻令，限于三天之内将涿州拿下。可是直到11月1日，城池坚固的涿州仍然屹立不倒。后来经过多方面的磋商、谈判，于1928年1月6日，傅作义出城与奉军主将万福麟见面，又会晤张学良、张作霖，张大帅极表钦佩之意。12日，涿州由奉军接收。涿州守城达三个月，晋军死亡五百余人，但是平民百姓死伤很多。傅作义降汉不降曹，所部军队隶属陆军部领导，后来还是逃回山西去了。

冯、阎约定，阎锡山出兵京汉线北段，攻打奉军腹心之地；冯玉祥自湖南出兵，攻打山东的奉鲁军，使奉军首尾不能兼顾。当奉军与阎锡山苦苦缠斗之时，张作霖令奉鲁军出兵河南，主动出击冯玉祥，以减轻京汉线北段的军事压力。相对奉阎之战，京汉线南段的战事就显得更为惨烈了。冯军与奉鲁军旗鼓相当，势均力敌；而且冯玉祥对奉军宿怨极深，一心想报南口的一箭之仇。两军争战的焦点在于控制陇海一线。10月上旬，张宗昌亲临徐州督战，调集褚玉璞等十多万人，沿陇海路西进。由于冯军的杂牌军中有人倒戈，奉鲁军首战告捷，占领归德（商丘）。接着张宗昌挥军直下，准备夺取开封。此后，两军进入相持状态，奉鲁军猛攻十余日未能奏效，官兵显得疲惫而松懈。冯军趁机发动全线反击，鲁军一路溃败下来，刚刚攻占的地方全都相继失守。至11月下旬，冯军将张宗昌军十余万人全部歼灭，12月2日，冯军逼近徐州。这时孙传芳赶来救援，但因南京方面的边防军沿津浦路杀来，16日，孙军落败而逃。16日，宁军与冯军在徐州会师。这场会战真可谓摧枯拉朽，有疾风卷落叶之势。

1928年元旦，孙传芳、张宗昌到北京给张作霖贺岁，张大帅乘机召开军事会议。会上决定，张宗昌、褚玉璞防守津浦线；张学良、杨宇霆防守京汉线；张作相防守京绥线，向冯军发动进攻。而对阎锡山的晋军采用和战并用的方针。

张宗昌的鲁军，人数虽然不少，但大多是由土匪收编而来，战斗力极差。在蒋、冯、阎三个集团军的凌厉攻势下，鲁西、鲁南、冀南尽失。之后，张宗昌、褚玉璞的部队集中在临城一带，张学良、韩麟春的部队在彰德（安阳）一带，准备抵御北伐军的攻势。因为集结地距离前线太近，临城防线很快被突破，张、楮再退至兖州，但还是抵挡不住北伐军的强大攻势，只好继续后撤。兖州是济南的屏障，兖州一失，济南也无法固守，1928年4月30日，张宗昌退出济南，距离他进驻济南恰好整整三年。

1928年春天，张作霖任孙传芳为鲁西总指挥，在沧州以南设立新兵训练处。孙传芳又在苏北、直鲁一带招兵买马。因为那时兵荒马乱，青壮年视当兵为唯一出路，所以很快孙又恢复了十万大军，而且有张作霖出钱，军队装备也焕然一新。孙部驻防兖州、济宁一线，准备与张宗昌一起，会攻徐州，收复长江北岸。

进军之初，孙军打败贺耀祖军团，占领了金山、鱼台等地，正当他准备攻打徐州时，冯玉祥部从陇海线杀向济宁。孙传芳拒绝部下不理济宁、只攻徐州的建议，坚持回救济宁。孙军很快将济宁收复，但却与冯军在济宁附近展开拉锯战，几日激战，双方伤亡惨重，谁也没办法击垮谁。到了第八天，传来张宗昌在津浦路失利撤回济南的消息。孙传芳觉得后方空虚，无法独撑战局，只好向济南撤退。孙军虽然经过多日激战，但仍能有秩序地撤回济南。

日本最不愿意见到中国统一，所以见北伐军进展顺利，一路挺进到鲁西、鲁南时，日军就开始向山东增兵。北伐军于5月2日进入济南后，随即与驻守日军发生冲突，日军居然勒令中国军队退出日军警戒区外。5月4日，日军借口有两名日侨被杀，将中方交涉人员蔡公时的耳朵、鼻子割去，然后杀害。在中国的土地上面，如此残杀一位中国官员，实乃中国之痛、中国之羞。在此次事件中，中国军民死亡千余人，伤者更是不计其数——是为“五三”济南惨案。北伐军为避免事态扩大，绕道鲁西，越过黄河，占领德州、沧州，直逼京津。

孙传芳与张宗昌同时困守济南。孙传芳本打算将队伍拉到关外，但是他部下许多将领出身直鲁豫一带，对奉军印象不好，所以不愿意去东北。适逢阎锡山派人来收编孙军，兵随官走，这支战斗力尚属不错的队伍就归顺了国民革命军。6月3日，孙传芳正式宣布下野。后来，孙传芳只身寄食于张学良处。张学良设计杀了杨宇霆、常荫槐之后，孙传芳不敢在东北久留，跑回天津。在天津，他又与靳云鹏勾结，准备在政治上再起。蒋介石对他不放心，暗中指使人唆使施从滨的女儿施剑翘将他暗杀于天津居士林，否则，施剑翘一名弱女子如何有如此大的神通。孙传芳在天津期间多次拒绝日本人的拉拢，绝不出任伪职，保持了一个中国人的民族气节，还是值得称道的。

4月1日，奉张特地从吉林、黑龙江调来军队对山西发动进攻，阎锡山急电冯玉祥救援。这时，冯军本可伸以援手，却下令部队不可擅自前进，准备看晋军的笑话。原来冯玉祥是想报当初南口阎锡山配合奉军截击冯军之仇。由于第四方面军赶到，山东方面又已溃败，奉张决定采取守势。于是在津浦线天津以南的德州、马厂；在京汉线的保定、长辛店设置防线。

京汉路一线，张作霖集中兵力于磁州一带，准备反攻彰德（安阳）。4月5日，彰德之战开始，冯、奉双方鏖战二十多日。由于阎锡山的晋军在白崇禧的配合下出太行山，向京汉路运动，奉军恐后路被截断，乃主动后撤。奉军于冯军占彰德后，又乘机下令反攻，经冯军奋勇冲杀，至5月1日夜，奉军遂全线退却；张学良亲自督战，但还是挡不住北伐军的炮火。5月11日，石家庄落入北伐军之手，北伐军接着向北京挺进。

张学良在战争期间，指挥各部、各处督战。通过与当地农民的接触，他亲眼见到战争给百姓带来的苦难，遂有了劝说乃父停战的思想。4月下旬战事前景不乐观之时，张学良抽空返回北京，劝说其父张大帅罢兵。开始张作霖对张学良的举动大发雷霆，教训儿子：“我当大元帅一年了，中国还没统一，你就想撤兵不打，你小子想拆我的台？”张作霖虽然顽固但还明白事理，经张学良百般劝说，张作霖终于理解了什么叫大势所趋，同意停战撤军。

张学良决定撤军，这除了因为正面彰德战场消耗太大无力支撑外，也由于东线德州的失陷，如果东路北伐军继续攻击前进，将可能把张学良的奉军主力全部歼灭，张学良综观大局，知道此时不认输是不行了。阎锡山知道张学良军败退后，猛扑向河北，5月31日克保定，同一天，张作霖命令奉军全线撤退。

5月19日，蒋介石由徐州赴郑州会晤冯玉祥，30日，赴石家庄会晤阎锡山，商讨北方形势及军事问题。此时奉军固守在京津一带，与津浦路的奉鲁军、孙传芳军连成一气，兵力有40余万。蒋认为三军会师刻不容缓，便亲临前线，于5月25日前，将各路人马集结于京津南面的一个弧形地带上。31日，蒋下达追击令。

张作霖于5月30日召集军事会议，布置全面撤退。首先从保定退守琉璃河，然后请王士珍出面维持北京治安。6月1日，张作霖在怀仁堂接见中外各界，宣布放弃北京，退回关外的决定。2日，发表通电，承认历年来因战祸不断，使人民饱受苦难；并表示以后的政治问题，仍由国民公决。此时，张作霖已经风闻日本将有不利于自己的行动，所以他出京的日期高度保密，且一变再变。6月3日，他终于乘坐当年慈禧太后的花车秘密离开北京，4日即于皇姑屯被炸身亡。

不久，张作霖被炸的消息已经传到关内，张学良等急忙命令奉军将领约束士兵，维持治安，准备和平让渡北京。6月4日，奉军陆续退出北京。白崇禧、阎锡山于6月8日进占北京。