国民军地区的扩大，引起奉张与直吴的恐惧，他们共同勾结起来对付冯玉祥1924年9月，爆发了江浙战争。在战争爆发后的第二天，张作霖立即向曹锟、吴佩孚发起挑战，第二次直奉战争开始。张作霖自任镇威军总司令，亲率奉军新编6个军，向热河、山海关等地铺天盖地而来，大有一口吞掉直军的架势。

曹锟收到奉军大举进攻的消息，一日连发数份“十万火急”、“百万火急”、“限时限刻”的电报，速召吴佩孚来京主持军务。同时，他又派出一批专使到洛阳，督促吴佩孚立刻启程北上。

曹锟为了迎接吴佩孚，又特地将原来慈禧太后专用的花车一辆，拖到洛阳，作为吴佩孚的北上专车。9月17日，吴佩孚由洛阳抵达北京，曹锟立即委任他为“讨逆军”总司令。由于曹锟对战争毫无准备，作战前又匆匆改组了内阁，所以就授全权于吴佩孚，组织“讨逆军总司令部”。

第二天，吴佩孚把自己公署机构的全班人马搬到国务院衙门办公，改称“讨逆军总司令部”。这个司令部犹如军事内阁，分别处理有关军事行政事务，实际上已是北京政府的最高权力机关。吴佩孚俨然已成了“全国兵马大元帅”，权势达到顶点。

18日晚，吴佩孚在中南海内四照堂召集会议。被召集参加的都是军政方面的负责人。四照堂四面都是玻璃窗，电灯明如白昼。会议开始时，吴佩孚下面穿着一条白色裤子，上身穿着紫绸夹袄，外披一件黑色坎肩，坎肩的扣子不扣，嘴上叼着一根香烟，从内室迈着八字步踱将出来，直往首席坐定。他拿起曹“大总统”的“讨逆令”照本宣读。说来也怪，念到一半，四照堂电灯突然全部熄灭，半晌后才复亮。

在场的一些武将纷纷耳语：“不吉！不吉！这是不吉之兆。”

吴佩孚念完讨逆令，按照在洛阳所部署的讨奉计划，逐一点将和分配任务。他自任总司令，王承斌任副总司令，前方兵分东、中、西三路。后方援军兵分十路，张福来为援军总司令，统率各路援军。同时还发布了海、空运输等方面的任职令。军略布置可谓倾尽北方兵力，全力以赴，声势浩大。

吴佩孚对于韬略极有自信，历来军事布置都出自一人之手。但是，这次作战计划事先匆匆制成，缺乏全面周密的考虑，因此有些军兵种，如海军、空军都没有落实到什么任务，等到这些方面人员逐个向吴佩孚请命的时候，他才时时一个一个增添任务，写到作战命令中。他看到这样下去没完没了，于是不耐烦地站起来说：“这样尽管往下添，还成个命令吗？你们不能等着以后再商量吗？今天就是这样了，散了吧，散了吧。”于是大家一哄而散。

这出有名的“四照堂点将”引起不少出席者暗暗哀叹，认为“将骄兵惰，败兆已见”。

第二天，吴佩孚对蜂拥而来的各国记者夸下海口“逐彼张氏出东三省，而放其子学良于海外”，而扫灭奉军，“有二月之光阴已足”。他在部队开赴前线前，又像和尚念经似的向将领们诵了一段：“今兹为促成统一之战，诸君其各努力，他日者，奉事既定，而统一之局成，吾将可以释甲归田，长为共和国之良民矣，岂不美哉。”

经过一番策划之后，第二次直奉战争便以空前的规模爆发了。

这次战争奉军先发制人。由于奉军对直军各师战斗力的强弱以及部队防守的驻地都已侦知；又已取得对曹锟、吴佩孚的行径一直不满的直系大将冯玉祥的默契，所以采取了避实击虚的方法。

战争一开始，奉军就首先向兵力最弱的防守热河的中路军进攻，连克数地。但是由于直军顽强抵抗，再加上江浙战争结束，援军源源而至，直奉两军很快在山海关一线形成对峙局面，双方都在伺机进行决战。

西路冯玉祥所率的第三军，开战以来一直没有战事。吴佩孚对冯玉祥是不信任的。四照堂点将时，他有意识地委派冯玉祥担任西路司令。因为这一路交通不便，地方贫瘠，不但行军困难，而给养也无法筹措。吴佩孚是想用参战之名，把冯玉祥部队调离北京，使他的力量消耗在荒寒瘠苦的长城外。

冯玉祥对吴佩孚的叵测居心，心明如镜，也早有打算。因此，冯玉祥在部队出发后，采取延宕的办法，每日行军路程仅二三十里，全不像开赴前线作战的样子，待部队到达古北口后，又以筹措给养为名而停止不前。

10月中旬，正值直军中路败退，东路混战紧迫之际，冯玉祥接到前方战事吃紧的情报，认为倒戈反直，回师北京的时候已到。10月21日，冯玉祥命令部队，将后队改为前队，偃旗息鼓，以一昼夜行军200里左右的最快速度，回师北京，发动“北京政变”，囚禁曹锟，电请孙中山北上主持大计。

冯玉祥发动的“北京政变”，不但结束了臭名昭著的贿选政府，而且对于在前方与奉军作战的直军也是一个毁灭性的打击。

在前线的吴佩孚得到冯玉祥倒戈反直、回师北京的消息后，惊怒交加，拒绝部下先克奉，再解决北京问题的意见，率领万余人部队，仓促回转天津，向冯玉祥的国民军发起进攻。冯玉祥料到吴佩孚不肯就此罢休，军事上也有准备，趁吴军立足未稳，先发制人。

由于吴佩孚的部队刚从直奉前线抽调下来，早已疲劳不堪，在冯玉祥的国民军的冲击和包抄下，更是不堪一击，节节败退。与此同时，山海关方面的奉军乘直军内乱，急遽南下。而山海关的直军主力，由于内乱外攻，军心已经动摇，在奉军切断后路，全面包围下，除少数重要将领逃到天津外，其余全部被俘。在天津的吴佩孚也在奉军、国民军夹攻下走投无路，只好率领溃败的败部2000余人，坐船逃往南方。

吴佩孚乘船南逃，漂浮海上，处境狼狈。船到青岛，山东督理郑士琦不仅拒绝假道，而且拒绝供应淡水和粮食。吴佩孚只好再往南边，预备从上海入长江，过武汉再返洛阳。在途中，他竭力向各省军阀兜售他拟定的组织“军政府”的计划，但四处碰壁。他一气之下，径自回到洛阳，调动老部下，以图重整旗鼓。吴佩孚喘息未几，肘腋之患又起。从前巴结吴佩孚的陕西督理刘镇华，乘国民军进入河南连连告捷之机，唆使其部下，东出潼关，进军洛阳，谋取地盘。守备洛阳的官兵，都是刚招募的新兵，未战先溃。吴佩孚在无兵可防的情况下，只得匆匆乘车出逃，准备到萧耀南处避难。

不料，逃难的火车还在河南省内行进时，就先后收到萧耀南和湖北省议会几次发来的急电，婉拒他进入湖北，这样逼得吴佩孚只能带领一班人马停留在鸡公山避难。

鸡公山的鸟语泉语声使人有脱俗之想，但给他带来的却是孤独凄苦之感，吴佩孚禁不住哀叹：“人海茫茫，究竟何处是安身立命之所？”然而，这时，在北京的段祺瑞政府发出了一道接一道的“逮捕吴佩孚解京治罪”的通令，国民军又攻至鸡公山附近，吴佩孚要想赖在鸡公山不走是不行的了，只得再次出逃避难。最后逃往自认为“发祥之地”的岳阳，托庇于赵恒惕。

北京政变后，冯玉祥在与奉张争夺北京政府控制权中失败，宣布辞职出洋游历。张作霖在控制北京政权的同时，调动大批奉军进入关内抢夺地盘。

奉系妄图将其势力伸向全国的野心使各省军阀人人自危，而首当其冲的则是冯玉祥和孙传芳。

冯玉祥、孙传芳二人在“抗奉自保”的一致目标下，很快不谋而合，两人结为“金兰之好”，相约南北两路同时出兵夹攻奉军。另外，他们都认为长江中下游吴佩孚尚有一定的影响和潜在势力，如能拉吴佩孚出来，既易于号召，又便以发动。因此，各派代表穿梭来往于岳阳、张家口、杭州之间，相商共同出兵讨奉之事。

冯玉祥、孙传芳的联合抗奉，为吴佩孚的“出山”提供了机会。吴佩孚岂能放过这重振军威的时机，他立即见风使舵，一变过去“讨冯”为“讨奉”，采取“联孙和冯”的策略，暂时迎合冯、孙主张，趁机借势而起。

1925年10月15日，孙传芳以反对奉军压迫上海工人运动为名，通电讨伐奉系，兵分5路向奉军猛攻，浙奉战争爆发。

吴佩孚趁势宣布出山，在汉口挂出了“讨贼联军总司令部”的招牌。而此时在吴佩孚心中，第一个敌人实际上还是冯玉祥，只是现在大势所趋，暂时收起“讨冯”的招牌，挂上一块可“讨冯”、可“讨奉”的模棱两可的“讨贼”招牌。浙奉战争一开始，奉军就败退出南京。这时由于奉系军阀在各地的暴行和军阀混战带来的灾难，一个个全国规模的反奉运动掀起了。在全国反奉运动高涨的影响下，奉军将领郭松龄秘密和冯玉祥取得联系，在滦州倒戈，转过头向张作霖发起进攻。

最初，郭松龄的军队攻势甚盛，沈阳也危在旦夕。后来，张作霖在日本帝国主义直接出兵援助下，改变了其“下野亦可”的颓势，致使郭松龄兵败身亡。郭松龄倒奉虽然失败了，但是在军事上严重地削弱了张作霖的实力，使冯玉祥的国民军占领直隶全境，与国民军占领的河南地区连成一片。

国民军地区的扩大，引起奉张与直吴的恐惧，他们共同勾结起来对付冯玉祥。早在第二次直奉战争结束时，张作霖就派遣密使到鸡公山，对吴佩孚说：直奉战争的结果，是“鹬蚌相争，渔翁得利”，如果张、吴能联合起来，那就“天下无敌”。

郭松龄事件之后，张作霖死里逃生，对冯玉祥恨之入骨，特别害怕国民军在北京的发展，想与吴佩孚联合，以共同进攻国民军。

经过在前线的张宗昌与靳云鹏的往返传话，张作霖与吴佩孚日渐接近。1925年12月，张、吴代表会晤于大连，“大体取得了谅解”。次年，又商定了联合的条件。就这样，过去两个敌对的军阀，今日为了反对冯玉祥的国民军，又联合起来了。

1926年1月21日，吴佩孚正式通电宣布“讨冯”，并命令冠英杰率军进入河南。与此同时，张作霖也借进攻郭松龄残部为名，向关内进犯。这时，吴佩孚的“讨贼联军”总司令不变，只是“贼”的含意已明显由“奉”变为“冯”了。在奉直的联合夹攻下，国民军第二军几乎全部崩溃，岳维峻逃入山西。

河南的岳维峻被赶走，湖北的萧耀南又患心脏病去世，此时的吴佩孚又是踌躇满志，野心勃勃了。他洋洋得意地对部下大变其“循环理”，意思是说，事情的发展总是周而复始的，他吴佩孚从今又会由失败走上中兴。可是，他哪里知道，他今日的再起就是明日的再败，而且是彻底的失败。

国民军退出北京后，段祺瑞被逐下台，北京陷于无政府状态。吴佩孚抓住机会，急忙着手进行所谓恢复“法统”和组织政府的工作。吴佩孚深知自己在北京的军事实力远不及张作霖，只有从政治上加速进攻，耍些花样，用护宪来恢复颜惠庆内阁与国会，争得北京政权，控制大局。

岂知“绿林”出身的张作霖也已懂得“智深须有忍，将勇贵能谋”，吴佩孚提出起用原曹锟手下的总理颜惠庆出来摄政，遭到张作霖的坚决反对，并针锋相对地借贿选大做文章，要求恢复约法，重建国会，甚至提出了重新组阁的人选。为此，双方争执不下。

尽管吴佩孚、张作霖双方存在着若干无法解决的矛盾，但当时的形势是：南方的广东革命根据地日趋巩固，北伐战争正在准备之中；北方的国民军虽败退，实力并没有消灭，冯玉祥虽暂时宣布下野，但仍扩充军队，接受苏联援助，并兵分3路与直、奉军队对峙，时时威胁北京政府。

对此，吴、张二人从各自所处的地位及利益考虑，决定维持目前的“联合”，并迅速采取共同行动，消灭共同敌人。在双方取得“军事为先，政治缓议”的一致认识后，吴、张终于在组阁问题上达成妥协。事后，吴佩孚曾向上海《密勒士评论报》主编发表过自我解嘲的谈话，说：“我和奉张就像初婚夫妇一样，偶然拌几句嘴是免不了的，日子一久，我们的感情就会一天天浓厚起来。”

5月28日，吴佩孚乘坐的列车，在两架飞机的护送下，抵达北京，与张作霖举行“两巨头会议”。张作霖与吴佩孚互换兰帖，结为兄弟，随即商定一致行动的计划：在联合攻下南口后，吴佩孚向前攻广东革命根据地，张作霖向北进攻北京的国民军，企图南北齐下，共分天下。

当晚，吴佩孚就乘车回长辛店，张作霖也回天津。在告别时，张作霖祝吴佩孚“马到成功”，吴佩孚则谦虚道“仗老弟洪福”。这时，这两个军阀异想天开地以为，将来的中国定是他们的天下，而不知乃是各自末日之来临。