2005年12月，林罕見召開兩場記者會，呼籲總統府高層不宜參選民進黨主席，但陳水扁執意推出游錫堃參選，導致林與民進黨的進一步決裂。2006年1月21日，林針對蘇貞昌組閣，發表「總統與行政院長應遵行的互動方式」，呼籲扁蘇互動應遵守憲法分際，呼籲「總統不應私下召見部長或部長以下官員，給予任何指示」，但顯然事與願違。1月24日，林選在游主席就職前夕宣佈退黨，發表〈永為民主國家主人：為退出民主進步黨告同志書〉，嚴詞批判政黨惡鬥。當時民進黨立法院黨團幹事長陳景峻曾表示，從施明德、許信良到林義雄，民進黨前主席一個接一個離開，讓人不禁懷疑民進黨內到底出了什麽問題。
2008年民進黨下野之後，林儘管已經離開民進黨，仍為民進黨候選人站台，例如2010年林曾為蔡英文+蘇嘉全助選。儘管早在2010年李登輝就點名林義雄參選2012年總統，民進黨內也有不少人看好林蔡配，但林並未回到民進黨。
2013年2月，林批判「公投法」過嚴，民間團體無力提出公投案，因此反對核四公投，認為「那是耍弄人民的惡作劇，沒有任何意義」。8月15日，林表示「台灣民主仍未竟成功，民眾不能對政治冷感，民進黨要喚起民眾對政治的熱情，甚至要與公民運動相結合」，已顯露出他對民進黨與公民運動脫節的憂心。
＊新政團衝擊北台灣：柯利多、蘇游重傷、蔡尷尬
儘管林義雄新政團還在籌組階段，不會立即投入2014年七合一選舉，但公民運動找到民進黨最難招架的「林聖人」作為領導象徵，未來必將透過各種民生議題，結合公民團體對朝野政黨以及現任黨公職進行監督批判。新政團即使還沒正式參選，也將因為林義雄的光環放大，產生政治照妖鏡的制衡作用。
由於近年來迅速崛起的公民運動，幾乎都發生在北台灣，例如大埔反徵地不公、新北市反核四、文林苑反都更、反旺中媒體壟斷、公民1985行動聯盟等等，新政團的首要衝擊，也將以北台灣為主。誠如陳其邁立委所言：「這股第三勢力如果成形，對民進黨中部以北的都會地區，將會產生大衝擊，一旦黨中央未謹慎處理，搞不好民進黨以後在北部會變成小三」。
陳其邁痛陳民進黨可能淪落第三，並非誇大其詞。以台北市長選舉為例，儘管柯文哲希望爭取民進黨推薦支持，但至今仍然堅持以無黨籍參選。相對於民進黨前副總統呂秀蓮、前台南市長許添財、以及為扁總統辯護的顧立雄律師，柯民調始終保持遙遙領先局面，而且根據2014年1月28日旺旺中時民調，柯以無黨籍參選的支持度高達38%，一旦改以民進黨身份參選，支持度反而只有33%。
