“五四运动”使得段祺瑞政府及皖系所控制的“安福国会”声名狼藉，在国民中的威信逐渐丧失。看着张汉卿的“安西军”在西北取得的成绩，曹锟与吴佩孚眼热起来。两人见时局如此，认为有机可乘，便派人出关积极游说张作霖，以求达成直系与奉系南北夹攻皖系之势。
此时奉军已完成10个师的整编，正是兵精粮足人才济济之时。兴安、热河、察哈尔、蒙古四地的获得及“西北军”的成就，使东北联省自治政府的声望达到新的高峰，也使得奉系高层的眼光转向了关内。
但对直系抛过来的橄榄枝，张作霖权衡利弊，始终不能决断：一边是入关获取好处的诱惑，一边是得罪皖系背后的支持者日本人。他虽然在骨子里是个十分爱国的军阀，但是此时此地，以他的力量和地位，不能不顾忌到日本人的影响力。他一生中的重要盟友吴俊升也不愿意出关，他坚持奉系闭关自守以待来日，辽东虽小足以为王，目前以静观局势、藏拙养晦为要务。
张汉卿与孙烈臣是出关的支持者，孙烈臣认为皖系主力尽被分散在各地，易于击破。奉军出关阻力甚小，挟安定蒙古之威及在国人中的影响力，在直皖反目中或可乘机入主也未可知。而张汉卿则知道史上直皖战争的速胜，当然力主出兵，以不让直系在北洋政府中坐大。日本人则由于对英、美的忌惮与国内经济实力的不足与政治气候的影响，尚无能力给予规模的干涉，只会象征性地表示反对，因而不足惧。
张作霖已习惯于张汉卿的进言，他欣然应允，在4月以王乃斌为全权代表，商讨与直系结成反段联盟的条件。张汉卿给出的条件是：
1。共组北京政府，新政府之财政、农商、交通总长由奉系指定；
2。奉系获得察哈尔省城张垣地方（即张家口，此时尚被皖系军队据守）；
3。热河所围之直隶唐山、秦皇岛2市并入热河特别区，成立热河省；
4。直系习惯势力绥远特别区划归奉系。
5。直奉两系在西北合力攻击陕西，双方以渭河为界，西北人民军占北方，直军占南方。
6。天津为双方势力分界点，双方均可驻兵于天津，但不得干涉天津民政。
7。战后奉系同意并支持直系拥有原皖系安徽、山东、浙江3省之地方。
这是一个双方大致都能接受的协议：陕西间隔了奉系控制的甘肃与直系控制的湖北，平分陕西实为公平之举；陕北若归奉系所有，绥远处在奉系甘肃、蒙古、察哈尔包围之中亦无完璧可能（临近的山西是另一军阀阎锡山牢不可破的势力范围）；天津为各外国势力云集之地，动辄得咎，直系并无太大兴趣；靠近山海关的直隶2市处于奉系连接天津、热河必经之处，奉军势在必得，必不容协商。而直系则巩固了长江流域及北方的地盘，奉系将连接西北东北便捷通道的大片土地收归囊中。可谓皆大欢喜。
远在年初，段祺瑞即已预感到直系的不臣之心。他对防止直系北上想尽了办法，却终于没能得逞。新年之始，即谋划以皖系人物吴光新取代河南督军赵倜，以阻断吴佩孚北归之路（时吴佩孚军在湖南对抗广州军政府）。后者倾向于奉系，却一直反对皖系对日纵容。但是总统徐世昌恐酿成巨变，不允发表。时靳云鹏为获得直系支持，也表示反对，因此不见谅于段祺瑞，差点辞职。
3月7日，驻湘南之直军第3师师长吴佩孚不顾北京政府连电阻止，要求撤防北上。3月18日，吴佩孚麾下混成旅旅长王承斌、萧耀南、阎相文等开始撤防北上（广州军政府续付毫洋三十万元作为开拔费，北京附近驻军师长曲同丰、陈文运、魏宗瀚、李进才、刘询通电，谓营房不足，拒直军移驻）。
5月17日，段祺瑞在团河召开作战会议，命边防军集中北京一带，段拟自驻郑州迎击吴军。为了鼓动士气，6月4日，段祺瑞、徐树铮宣称动员讨伐南军。
6月10日，奉军自直隶独流镇经天津开往廊坊。
在直皖磨刀霍霍之际，皖系在湖南的钉子被连根拔起----6月13日，皖系湖南督军张敬尧为各方驱逐出湘，北京不得已“褫其湖南督军兼省长职，暂行留任”。
6月15日，吴佩孚携直军旅长王承斌、萧耀南、阎相文自郑州至保定，与直隶督军曹锟会议。
7月4日，徐世昌免去徐树铮西北筹边使职，以李垣护理，裁撤边防总司令，所辖军队由陆军部接管。7月5日安徽督军倪嗣冲到北京，段祺瑞下令边防军动员。7月6日边防军向长辛店、廊坊出动。张作霖早已做好痛打落水狗的准备，但为了麻痹段祺瑞，亲身到团河，劝段祺瑞勿用兵。然而段祺瑞在得到张作霖奉军保持中立的“保证”后，认为胜券在握，执意开战，并要求惩办吴佩孚。在此形势下，直系第16混成旅旅长冯玉祥率部自常德桃源撤退，移汉口谌家矶…
直皖大战势不可免，但是直系仅吴佩孚所带1师3个混成旅及曹锟所部2个师。面对有日本华北驻屯军作后盾的皖系军队，不能不有所顾忌。在吴佩孚的建议下，7月10日，曹锟致电北京公使团，请其注意日本暗中助段的事实。美、英、法三国压迫日本公使表示态度。14日，日本公使被迫发表宣言，表示决不助段。
为给直系打气，7月11日张作霖致曹锟一电，说他已经派遣第28师先行进关，关内奉军派张景惠为司令。他估计关内奉直联军已有七八万人，可以应付东西两线的战争。并向曹锟担保：“我辈骨肉至交，当此危急存亡关头，不能不竭力相助。”
得到日本人的保证，又有奉系在后支持，直皖战争开始。皖军西路段芝贵部（辖第十五师刘询、边防军第一师曲同丰、第3师陈文运）自涿州攻占高碑店（直军西路总指挥为吴佩孚，后路总指挥为王承斌，东路总指挥为曹，兵力为第3师及曹铰、王承斌、萧耀南、彭寿莘等混成旅，约四万余人，皖军东路徐树铮，兵力为边防第一、第三师、陆军第九、第十三、第十五师，又三混成旅，约六万人）。
张作霖见皖系军队主力已调向北京以南，后方空虚，准备乘机起事。他以破获了皖系在东三省有颠覆活动为名，宣布徐树铮八大罪状，并通电清君侧。
为避免两线作战，段祺瑞要求徐世昌以总统令要求各路军队退回原防，这样一来，奉军则不得入关。张作霖一不做二不休，联系顺直省议会、天津总商会、直隶商会联合会通电宣布段祺瑞三大罪状：
“……视东海（总统徐世昌）为傀儡，待同官若奴隶，颐指气使，炙手可热。靳云鹏虽其门生，然既为总理，论体制应在督办之上。乃段祺瑞于院部有关系之文函，均亲笔批有交院、交部字样。其下属奉命转达于院部者，则直书曰奉督办谕，交总理总长办理等字样，俨以元首自居。今更擅改元首已盖印之命令，逼令元首之印绶，自由擅发，试问纪纲何在？此其大罪一。信任曹陆，借用日款五万万元，将东三省森林矿产及满蒙热河铁路之权，拱手以授日人，又将胶济、高徐、顺济等铁路与日本订立合同，使山东亦将为东三省之续。甚至订立军事协约，而日本军队侵入北满，假借参战练兵，而日本军官揽我兵权。至于赞成签订德约，主张直接交涉，无一不为媚外之作用，以自亡其国，此其大罪二。段于袁项城时，往往以项城任用权术，利用金钱收买下级军官，唆使反抗上官之举为不然。不料自彼执政以来，变本加厉。……广用金钱，结合各省军队以自固，以致军队日多，财源日竭。此其大罪三。”
这个电报末尾且指责段祺瑞并非如一般人所说的很廉洁，它指出：“天津义租界房屋，乃徐树铮于民国元年所得汉阳之款，以十三万元分润段而购置者；曾云霈以安福党费为段兴造春夏秋冬四季式之房屋；又复辟讨逆余款二百万元，尽入私囊；段在中日汇业银行有股份一百万元。”
欲加之罪，何患无辞？何况证据板上钉钉？张作霖准备多时的作战计划迅速传达到各部：汲金纯28师沿京奉线出山海关攻唐山、天津；张景惠率第16师出赤峰，攻多伦、沽源、赤城，进逼张家口。
在7月13日张作霖宣布派军入关以前，段对“讨直”之战是很有信心的，他曾吹嘘说，战争开始，只消五天就可以攻下保定，他的自信是认为奉军不会帮助直军。因为他认为张作霖虽然和徐树铮不和，但张和直系的曹锟、李纯也有很大的矛盾，因此段估计张作霖一定是在关外坐视成败，不会在直皖冲突中轻易下注。也就是说张作霖会保持中立的。段认为只要张作霖保持中立，他就有把握击败直军。怎知13日接到奉军第16、28两师大军已经开进关来的军报，接着又获悉奉军已在京奉路、津浦路以及马厂、军粮城一带布防，这一来可真让他着慌了。
本来，从7月11日起，直皖两军前线已有了小规模的冲突。北京城中已时闻炮声。传说边防军和刘询的第十五师有不愿出战的表示，每与直军接触，均着着后退。迨奉军入关，安福系真的慌了手脚，乃由曹汝霖、傅良佐往谒徐世昌，请求颁发停战令。
段系手忙脚乱，一方面压迫徐世昌下了停战令，另一方面又觉得当前情势必需速战，否则军心不易维持，所以在7月14日下午又召集特别军事大会，决议立即下达总攻击令，同时为了鼓励士气，特传檄全国，讨伐直军。
7月14日，直皖两军在北京东西两面的京津铁路和京汉铁路线上的涿州、高碑店、琉璃河一带开战。西线直军遭边防军进攻受挫，退出高碑店。东路边防军由徐树铮坐镇，进攻直军所据杨村，未决胜负。奉军汤玉麟部奉命越过潮河，直插密云与怀柔，威胁皖军后背。
7月17日，直皖两军已经开火了，广州军政府也发表通电，声讨段祺瑞。
湖北方面，直系的王占元对于直皖濒于开战之时，突然采取了断然行动，软禁了寄寓湖北的湖南督军吴光新。原来北京政府发表了段祺瑞的内亲吴光新为湖南督军后，北军已完全退出湖南，他乃和前任湘督张敬尧阴谋攫取湖北，助攻直军，且密令吴光新的旧部，驻守河南信阳的赵云龙攻夺河南。可是鄂督王占元不是傻瓜，不待吴张动手，他便先下手为强，借请宴为名，把吴光新约到督署款宴，席散后吴光新即被软禁，吴部哗变，亦被直军解散。张敬尧这次倒很聪明，闻风先遁。