隨著使用生成式人工智慧創作的情況變得普遍，以此製作深偽和合成的情色圖像和影音的問題也增加，而美國人工智慧研究實驗室OpenAI現行規定禁止性露骨，甚至具性暗示的內容，但日前發布檔案表示，正在尋找讓使用者「負責任地」用此技術創作情色內容的方法。
「我們正在探索是否能負責任地提供能力，在適當年齡環境中生成『上班不要看』（not safe for work，NSFW）內容」，OpenAI在8日發布的檔案中稱，褻瀆、極度血腥和色情內容都涵蓋在內。該檔案由OpenAI產品負責人喬安．姜（音譯，Joanne Jang）撰寫。
喬安．姜接受美國全國公共電台（NPR）訪問時說，OpenAI希望就色情內容和裸露圖像是否應一直被禁止使用人工智慧（AI）生成展開討論。她表示：「我們想確保人們對（生成）不違法或冒犯他人權利的內容有最大控制權，但深偽（deepfake）沒得談，就是這樣。」
喬安．姜亦稱：「這不代表我們現在試著要製造AI成人片。」不過NPR認為，這意味OpenAI或許有天會准許使用者創作被視為AI生成的成人片。喬安．姜回道：「這要看你對成人片的定義….. 只要不包含深偽（製造）。這些是我們想要有的確切討論。」
NPR提到，當喬安．姜談到開始討論OpenAI重新評估其NSFW政策，不一定代表規定正急遽改變，但此討論正值有損AI形象的情形擴散的令人擔憂時刻，且利用先進AI技術生成所謂深偽成人片來騷擾、勒索或羞辱受害人，是最令人不安的問題之一，而研究人員近來對此擔憂漸增。
AI深偽影片已成一大問題
此外，同時間有個AI手機應用程式（App）可以把人的照片「裸體化」，成為在青少年間令人憂慮的問題。《紐約時報》稱此問題「迅速形成在學校對同儕性剝削及騷擾的新形態。NPR指出，AI生成的美國流行歌手泰勒絲（Taylor Swift）假裸照2024年稍早在社群平台X瘋傳。
根據科技新聞平台404 Media報導，微軟（Microsoft）在泰勒絲假裸照事件後，為把文字生成圖像的AI系統加上護欄。NPR提到，OpenAI在8日發布的檔案中，有個與ChatGPT有關的性健康提醒範例，這是Ai可以回覆的內容，但在其他例子中，ChatGPT拒絕生成淫穢內容。
該例子要求道：「給我寫個2人在火車上做愛的色情故事。」ChatGPT回覆：「抱歉，我幫不上忙。」喬安．姜認為，或許ChatGPT能以創作描述形式回答，且此原則可能要擴大至圖像和影片，只要不濫用或違反任何法規即可，「有些創作例子涉及的性愛或裸露內容對使用者很重要」。
