他們很快就發現，與自己同屬「抗日陣營」的共軍威脅遠比日軍來得還要大。因為共軍不只會襲擊游擊隊搶奪武器地盤，而且還會以推動「土地改革」或者「社會改革」的名義，批鬥或者殺害維持傳統秩序的地方豪強，並別有用心的破壞寺廟祠堂。看在熱愛鄉土，固守傳統文化的地方豪強眼中，即便是日本侵略者也沒有如此的破壞倫常、大逆不道。
日軍方面，則如同30年代的國民政府一樣，只有足夠的兵力佔領沿海大型城市，對於鄉間的中小型市鎮與更為廣大的農村地區則束手無策。所以在扶持王克敏、梁鴻志與汪精衛等人成立親日政權的同時，對於這些地方豪強則採取寬大政策。只要豪強放棄與日軍敵對的行為，就允許他們維持對地方上的自治，甚至於保留武裝勢力。
從日軍的角度來看，他們需要反共的本土武裝協助自己維持地方秩序，抗拒8路軍、新4軍的威脅。對這些地方豪強而言，共產黨更是自己不共戴天的仇人。更何況相較於高呼「大東亞共榮圈」口號，對儒家傳統文化保有高度尊重的日本人，信奉國際主義並推動共產革命的中共更像是蘇聯在華扶持的代理人，對中華道統的破壞更大。
所以無論是從自保還是民族主義的角度出發，這些地方豪強會做出什麼樣的選擇其實不言而喻。到1941年12月爆發太平洋戰爭之後，日本即將為美國擊敗已經成為必然的事實，蔣中正更開始思考如何防治中共在戰後壯大的問題。他不僅默許地方豪強與日軍聯手剿共，同時還批准很多地方部隊接受汪精衛政權改編為和平建國軍，協助國軍監控共軍。
於是進入抗戰末期以後，就出現了一個很有趣的局面。那就是當國軍在滇緬與湖南、湖北戰場上配合英美盟軍抵禦日軍的同時，華北、華東與華南戰場上卻出現中日兩國軍隊攜手壓制共產黨的情況。伴隨著日本投降與二戰結束，這些和平建國軍與地方豪強的武裝又順勢被改編為國民黨軍隊，協助國軍開展對淪陷區的接收工作。
上述提到的，僅止於關內「偽軍」的情況。關外的「偽軍」，則因為距離傳統漢人活動的中原地區相當遙遠，無論是國民黨還是共產黨都難以染指，所以關東軍在組織滿洲國軍的時候較沒有遭到來自國共兩軍的挑戰。人數高達20萬人的滿洲國軍，也是日軍在中國組織的「偽軍」當中訓練最有素，裝備最精良的。至少在抗戰勝利之初，大多數滿洲國軍亦擁護國民政府為中國之合法政府。
隨政府來台的「偽軍」
絕大多數的「偽軍」，在抗戰勝利初期都為國軍所收編。不過隨之而來的裁軍政策，還有軍政部部長陳誠將軍強烈的「正統意識」，都導致這些加入國軍的「偽軍」很快就被解散。於是許多被遣散的「偽軍」，都在「老蔣不要老毛要」的口號下加入了中國人民解放軍。另外還有許多沒被遣散的「偽軍」，則因為難以忍受中央軍的歧視而陣前倒戈投向共產黨。
