勞動部長潘世偉驚傳陷入桃色風波，疑似與王姓女秘書有不倫戀，24日晚間行政院證實潘世偉請辭獲准，結束他158天任期。然而今天（25日）早上，潘世偉在臉書直指自己是因「擋人財路」才下台，並批評公務體系結黨營私很可怕。
潘世偉說，昨日致電行政院長江宜樺，並且約定早上11點15分碰面。在行政院時碰到新北市副市長陳伸賢、衛福部部長邱文達為他打氣。中央銀行總裁彭淮南則告訴他這件事「一定是你們裡面的人搞的」，潘世偉則回應「您真清楚」。
潘世偉澄清，昨在行政院確實有與江宜樺碰面，並且指出江宜樺心中為難，當時並沒有下決定。雙方同意先不對外說明請辭之事，但中午時行政院發言人孫立群就外說他已經口頭請辭。潘世偉說，雖然雙方希望能再有一些辯護，但院長在集體壓力下，不得不讓他作請辭決定。
在解釋請辭原因時，潘世偉卻表示，自己是因擋人財路才下台。他說，高階公務員知道預算編列和使用方式，如何拿捏隱藏性的資源，作為自己的小金庫；然後利用自己的人，把程序合理化，「當然最後就是可以達到美其名為公，實際上卻是為私的目的，本人其實就是因為擋人財路罷了。」
他也說，後續會慢慢告訴大眾這件事的判斷觀察與內幕，並說「不用當政務官真好，可以想說什麼就說什麼，人民最大！」
對於潘世偉的說法，行政院回應「不予置評」。
