「這就如同人類一路走來看到的歷史不平等。」Amazon 資訊科學家說。
AI 系統在資料學習的過程，複製了人類長年累積的性別、種族、階級偏見。即便這些偏見已長久存在，但 AI 可能更強化不平等，因為人們會在毫無所覺下，信任科技工具的「客觀」訊息，對陌生人打分數。
然而，科技支持派沒有全盤放棄。AI 歧視是學來的，因應之策是在資料訓練時降低這些「標籤」，並且提供多樣性的資料。此外，比起人類刻意包裝、掩飾偏見，AI 反而有機會讓偏誤被「顯題化」，讓我們更加警覺，並進行修正。
綜合而論，若單從技術可能性評估，目前的 AI 也許不夠「聰明」，但是只要科技持續追求突破、進展，似乎沒有理由全盤否定 AI 法官可行性。畢竟，人類同樣也會犯錯、誤判、有偏見。
「從能力來看，AI 確實可以幫助人類、補位弱點，很值得期待未來發展。」李建良持平分析：「但國家是否應該開放制度，更重要的仍在第二層次的考量。」
AI 法官需要明確法源基礎
他點出更關鍵的第二層議題：從規範角度來看，讓 AI 當法官可不可以？
簡單來說，即使人工智慧有能力獨立分析、判決，我們應該把審判大權交給 AI 嗎 ？是否可能衍生倫理問題？
「第一個遇到的是：需不需要修憲？這是多數人忽略的框架。」專研憲法、行政法的李建良特別指出。法官的身分保障及審判獨立的要求是直接寫在憲法上頭的，但憲法規定的法官是不是專指「人」呢？法學界可能有不同論述。
如果憲法說的法官專指「人」，也就是法官審判權奠基在人的前提，勢必需要修憲。反之，就算憲法允許「非人」擔任法官，仍然需要修法 ── 如同剛拍板的《國民法官法》，國家同樣必須建立一套法制來規範非人法官。例如，適用民事或刑事案件？能上訴嗎？上訴後交給另一位 AI 法官（AI 會有不同法官嗎？），或者由人類法官打掉重來？
價值選擇的難題：科技優勢 VS 法律原則
法源基礎僅是第一步，對整個社會而言，AI 法官挑戰的是價值選擇的難題。
2013 年，美國威斯康辛州法院參酌 COMPAS 風險指標，判處被告 Eric Loomis 6 年徒刑。Loomis 不服而上訴最高法院，認為法庭以 AI 系統裁決是一種「秘密審判」！要求說明 COMPAS 系統如何演算判斷出危險值。
這個案例顯然暴露了 AI 法官的價值衝突：演算法黑箱（black box）。
「在民主法治國家，法官不是個人，他代表的是國家。審判必須在公開透明的運作下，被監督、檢驗、究責。」李建良說：「法院公開審理、法官說明判決理由，都是來自這種被檢驗的要求。」
