就在孫中山北上後，蔣介石率領黃埔軍校師生，在蘇聯軍事顧問團團長加倫將軍的協助下，平定了廣州商團事變，之後再率部東征，徹底驅逐了陳炯明的勢力，並將在廣州郊區的軍閥部隊繳械，統一了廣東。蔣介石這位迅速崛起的軍事強人，一時成為各方爭先拉攏的對象。
1925年8月20日，孫中山逝世還不到半年，左派領袖之一的廖仲愷在中央黨部前被暗殺，蔣介石立刻宣布戒嚴，他在廖仲愷的追悼會上宣稱：「從現在起，我們要與反革命份子為敵，和『反共產派』對抗，以慰廖先生在天之靈。」因恩師被刺而悲憤不已的李友邦，自然選擇與左派的汪、蔣站在同一陣線上。
廖仲愷被刺案的幕後兇手是個謎，但卻引爆國民黨內左、右派的鬥爭。在鮑羅廷策畫下，很多過去對共產黨或左派有意見的人被逮捕，廣州籠罩著紅色恐怖，汪、蔣兩人被譽為中國的托洛斯基和史達林；胡漢民雖不是個右派，但因他的堂弟胡毅生被指控與廖案有關聯，而被放逐到蘇聯擔任駐俄代表。也不是右派的粵軍總司令許崇智有很多親信被捕，許崇智本人則被他的參謀長蔣介石送到上海，他的粵軍被併入黃埔部隊裡，改編成國民革命軍第一軍，由蔣直接指揮。
1925年11月，林森、居正、鄒魯、張繼、戴季陶、吳稚暉等十四位國民黨中央委員，聚集在北京西山孫中山停柩的碧雲寺開會，決議通過「取消共產黨員在國民黨中之黨籍」及「解除顧問鮑羅廷職務」等議案。之後，他們在上海另立中央黨部，與廣州的國民黨中央對抗，他們是當時國民黨內旗幟鮮明的右翼反共派系，被稱為「西山會議派」。
西山會議派企圖與蔣介石結盟來打倒汪精衛，但蔣並不理會這批被他視為「僅供擺設的古董」，譴責他們是反革命份子，背叛總理遺教，在紀念俄國革命八周年的宴會上公開演講說，去年總理將要北上時對我面諭：「鮑羅廷同志的主張，就是我的主張。你聽他的主張，要像聽我的主張一個樣子才好。」蔣慷慨激昂地說，我們為三民主義，也為共產主義獻身。
1926年1月，在廣州召開的國民黨第二次全國代表大會，大多數右派的元老黨員被逐出國民黨。汪精衛成為黨的新總理，據有所有黨政軍的最高職位，他除了是國民黨中央執行委員會主席、國民政府主席外，也是軍事委員會主席、黃埔軍校和所有革命軍的黨代表，但各軍有自己的傳統效忠對象，並不聽令於汪精衛；東征凱旋歸來的蔣介石當選中央執行委員和中央常務委員會委員，初次晉升為黨中央的領導階層，這一年他正好四十歲，指揮第一軍和衛戍部隊控制著廣州市，中央黨部和國民政府都在他的保護之下。爾後，情勢的發展導致蔣、汪兩人相互猜忌日深。
