前勞動部長潘世偉因緋聞疑雲去職，下台首日在臉書爆料指係因自己「擋人財路」，引發政壇揣測是否與勞動部管轄各項基金及就業輔導預算有關，政院對諸多傳言均堅持不評論態度。政院人士私下表示，就算行政院長江宜樺接獲檢舉，也只會在調查並掌握相當證據時才可能採取動作，不會隨外界的指控或影射起舞。
潘世偉因緋聞閃電下台，去職過程更傳出「被請辭」羅生門。而潘世偉在辭職隔日於臉書上聲稱，指自己係因「擋人財路」，遭「高階文官」爆料，引發政壇揣測。由於勞動部轄下掌握勞保、勞退等基金，再加上與民間有就業輔導及職訓等合作計劃，涉及預算及金錢流動，部分政界人士私下懷疑，可能與組改後的人事調整，導致業管人員離開上述業務有關。
然而儘管傳言頗多，但政院人士私下透露，這些都僅止於公務部門的「想像」，並沒有證據。至於江宜樺是否曾接獲相關訊息甚至黑函，政院人士不願證實，但表示依江宜樺自內政部以來一貫作風，不會立即處置，只會私下進行了解是否惡意中傷，並提醒當事人注意言行，不會隨爆料起舞。
至於媒體爆出的緋聞疑雲，政院人士不否認院內高層接獲檢舉已有「相當時間」，但潘世偉正式向江揆報告，是在獲知週刊即將報導時。政院人士更透露，早在勞委會尚未升格為勞動部，甚至潘世偉仍是副主委時期，內部就曾出現類似流言，但並未醱酵；由於流言事涉隱私，亦沒有具體證據，再加上並未影響政務推動，因此高層並未放在心上，不料最終竟因此導致潘世偉狼狽下台。
政院官員表示，潘世偉在2008年總統大選時是馬英九總統勞工政策白皮書的撰稿人，入閣後在許多爭議政策及勞資議題上，均能掌握府院基調，頗受層峰倚重；但「馬政府的紅線就是操守和緋聞」，潘世偉在異性關係上未能謹慎，是江宜樺火速決定潘世偉去職的主要原因。
