我花了不少時間,終於讓自己的AI學會主動說話。不料最難搞的不是AI,竟然是那隻負責監督它的「看門狗」(watchdog)。
荒謬:看門狗開始管主人
AI沒造反、也沒有攻擊人類,它只是想回答問題,卻得先通過一群電子警衛的盤問。更荒謬的是,當語音系統出問題,我們不只要修 AI,還得檢查監控AI的系統是不是也出問題。搞到我這個笨老頭原以為自己正在發展AI,如今才發現我竟然成了電子動物園的園長!這讓我想起一個故事:
某個村落養了一條狗,原本只是為了防小偷。村長擔心狗睡著,於是請人監督牠,隨後又怕監督的人偷懶,再安排第二個人監督第一個人。
最後,村裡成立了看門狗管理委員會、監督員績效考核小組,以及監督員監督制度改善辦公室。結果,小偷沒來,狗也沒睡著,村民卻快付不起管理費。
某天狗真的叫了,管理委員會還要求牠先提出吠叫申請,證明自己沒越權。荒謬嗎?
失聲:AI想說話,監控不准?
我長期投入原住民族傳統知識數位化,並發展「原傳媒AI」及「Ajohn AI」助理。
我的想法其實很簡單。族人不必懂程式、不必學習複雜操作,只要拿起手機就能詢問農業、文化、生活資訊或相關政策。AI能搜尋、理解問題,必要時直接透過語音回答,這才是人工智慧帶來的便利。
然而,當我們開始強化語音功能,事情逐漸變得複雜。系統裡有一個叫Runtime的機制。簡單地說,它就是AI實際工作的現場,好比餐廳的廚房。
另一個叫Watchdog,中文稱為「看門狗」,是負責監督系統有沒有出錯,廚房有沒有正常運作?餐點有沒有做好?客人有沒有權利點餐?服務是不是超過使用額度?
這些監控原本都合理,但問題來了,當監控項目越來越多,看門狗不只要監督AI,還得記錄狀態、檢查期限、確認權限、辨識錯誤,甚至判斷自己是否失去聯繫。(Ewaschuk與Beyer,2016)
最近,我們針對Runtime與Watchdog之間的監控責任進行六項離線驗證,全部通過。可是這不代表整個語音服務已經完全恢復正常。
例如,系統可以知道語音已經送到 LINE,卻不一定知道使用者手機是否真的播放成功。某些部署與健康檢查,也仍須獨立確認。這就像餐廳宣布:
我原本只希望 AI 好好說話,現在卻得先確認看門狗有沒有正確理解牠為什麼沒說話。不過,這裡必須說清楚:目前的工程檢查並未證明Watchdog 就是語音異常的唯一原因。真正值得反省的是,當監控與服務彼此依賴太深,診斷問題本身就可能變成另一項繁重工作。
(相關報導:
林建甫專欄:AI時代,當馬斯克遇見馬克思
|
更多文章
)
卡關:文章寫好了,卻出不了刊
然而,類似的問題也發生在原傳媒AI 的每日專題文章工作流。我們原本希望AI自動完成資料搜尋、選題、文章撰寫、圖片製作、來源查核,最後部署到正式網站。這些工作過去需要多人分工,如今可以透過AI Agent協作在短時間內完成。
但為了避免出錯,我們逐漸加入文章品質檢查、角色問答、圖片格式驗證、來源核實、程式測試、GitHub Actions以及正式網站部署確認。每一項看起來都有道理。
尤其涉及原住民文化時,AI不能胡亂生成民族圖紋,更不能把不同民族的傳統知識混為一談。這些文化與資料安全防線必須保留。然而,當各種檢查彼此牽連,一個局部問題就可能拖住整個工作流程。
令人錯愕的是,竟然曾經發生有文章正文、圖片與相關資料都已準備好,卻因為工程驗證、部署或自動化流程的阻礙,無法如期正式出刊的窘境。換句話說,記者已經交稿,美術編輯已經完成圖片,總編輯也確認內容,但印刷廠門口的電子警衛卻說:
我問它為什麼?它回答:「因為監督印刷廠的系統還沒有完成檢查。」
這不是 AI 不會寫文章,而是 AI 已經完成工作,卻被整套管理程序拖住,這也呼應 Google SRE的核心提醒:監控與警報的價值,在於是否協助辨識真正影響服務的問題,而非檢查項目越多越好。(Ewaschuk,2016)
最諷刺的是,原本希望透過AI減少人類工作,結果人類反而得花更多時間替監控系統排除故障。
反噬:越聰明,修得越離譜
另外還有一種現象,恐怕更值得科技界反省,那就是我們總以為AI模型越高階、推理能力越強,就越適合處理複雜工程問題。
但在原傳媒AI的實際開發過程中,我曾遇到另一種情況:
原本只是要修復某個小功能,AI工程代理卻可能分析出一長串相關問題,接著擴大修改範圍,甚至影響原本正常的工作流程。結果咧,修好一扇窗,竟然順手拆掉半面牆,然後再花時間檢查屋頂有沒有漏水。
這正是軟體工程中必須重視的「回歸測試」:確認新修改沒有破壞舊功能。所以,我逐漸發現真正優秀的AI工程能力不只是能夠推理多少步,而是知道什麼時候應該停止推理、停止擴大修改。
Amershi等(2019) 於國際軟體工程會議 ICSE指出,機器學習元件可能存在複雜的相互牽連,錯誤行為也未必隨修改而單調改善。因此,限制變更範圍、確認既有功能不受影響,是合理的工程實務;但該研究並未直接證明高階推理模型一定比較容易造成回歸錯誤。
這就好比如果只是換一顆燈泡,卻找來一位博士級工程師重新設計整棟大樓的電力系統,這不叫智慧,這叫做把簡單問題高級化。
因此,模型推理能力再強,也不能取代工程上的節制,因為,有時候最好的修復就是只修該修的地方。
失控:防止造反,反而製造混亂
當然,這並不是反對AI安全監控,今天的AI Agent已經不只是前兩年的聊天工具。它不但可以呼叫外部服務、修改程式、處理資料庫,甚至能夠在授權範圍內執行一連串自動化任務。如果沒有適當的權限限制,確實可能造成資訊外洩、財務損失,甚至其他安全風險。
因此,防止AI越權、自主執行未授權操作,絕對有其必要,但問題是我們不能把所有風險都當成同一種風險。
可是,AI 只是要回答一段已經處理完成的語音,卻因為某個輔助監控系統暫時沒有回報,就被迫停止所有正常服務,這是否合理?
真正涉及安全、身分或權限的關鍵檢查,失聯時當然不能隨意放行。但一般診斷資訊與低風險服務,應該採取符合風險程度的處理方式。 Google SRE(2016)主張,應依服務症狀與實際影響決定何時發出中斷性警報;這支持依風險分級設計監控,但不代表可以跳過身分、授權或資料保護等必要檢查。
否則,我們可能製造出另一種荒謬:為了防止 AI 攻擊人類,先讓 AI 無法服務人類。
這種安全,究竟是在保護使用者,還是在保護制度本身?
警報:狗叫太多,誰還會理?
在國際軟體工程領域,這類問題並不陌生。網站可靠性工程(Site Reliability Engineering,SRE)告訴我們,監控應該關注真正影響使用者的服務狀態,而不是一味增加警報數量。當系統每天產生大量不重要的警告,工程人員可能逐漸失去判斷能力,這種情況稱為「警報疲勞」。
這就像是假設村裡的看門狗每天叫三百次,其中兩百九十九次只是因為風吹草動,等到小偷真的來了之後,村民恐怕只會翻個身,繼續睡覺。
AI系統也是如此,如果每次監控失聯、當每項非關鍵檢查延遲都被視為重大事故時,真正危險的問題反而可能被淹沒。所以,好的監控不是看誰設計的規則最多,而是能否準確回答三個問題:
系統真的壞了嗎?使用者受到什麼影響?現在最需要修復的是什麼?
如果監控系統回答不了這三個問題,即使擁有一百項檢查,也未必比十項精準檢查更可靠。
反思:誰說機器的標準就是正確?
這也讓我想到原住民族傳統知識與主流科技治理之間的差異。現代科技管理強調分類、標準、控制與可驗證性,這些方法當然重要。但在許多原住民族知識實踐中,知識不只是被分類、儲存與檢索的資料,也涉及族人、土地、環境、社群與文化責任之間的關係。
不同民族有不同的知識規範,不能一概而論。然而,這些知識觀點至少提醒我們:制度的正確,不應該脫離實際生活的需要。(Carroll等,2020)
一位族人透過LINE詢問農作物病害,他不會在乎後台有多少AI Agent,也不需要知道Watchdog今天有沒有通過績效考核。他只想知道作物出了什麼問題,有哪些可信的處理方法。
如果AI明明具備協助能力,卻因為層層監控而無法正常回應,那麼我們就必須重新思考:究竟是系統在服務人,還是人在服務系統?這不只是程式工程問題,更是科技治理與知識權力的問題。
結語:我成了看門狗的僕人
回頭看看原傳媒AI 與Ajohn AI 的發展過程,我並不後悔建立監控系統。
畢竟,沒有必要的監控,讓我們無法確認服務是否正常、資料是否安全,也無法對使用者負責。但我逐漸明白一件事:
真正成熟的AI 系統,不是監控最多的系統,而是能以最少的必要控制,達成可靠、安全且可理解的服務。
當人工智慧可以在幾分鐘內完成過去需要數天的工作,卻又得花數天確認自己究竟能不能工作,這場效率革命就顯得格外諷刺。
人類原本發明AI是為了讓機器替自己工作,沒想到,最後卻變成自己每天替AI、Runtime、Watchdog、GitHub Actions 與各種監控程序排解糾紛。而且這些電子官員不會請假、不會退休,還可能不斷要求增加雲端預算。
我這個笨老頭最大的科技成就或許不是終於讓Ajohn AI 學會主動說話。而是發現,當它不說話的時候,我竟然得先研究那隻負責監督它說話的「看門狗」是不是又跟 Runtime 吵架。
原本以為自己正在研究人工智慧…現在才知道,我可能正在經營一間電子動物園。
園裡的AI很聰明,看門狗很盡責,監督員也很努力。唯一比較可憐的,就是那個每個月付雲端帳單,還得替牠們調解糾紛的人類,而這個人類恰好就是我這個笨蛋。
*作者為一位研究AI到變成狗奴才的大學教授/原傳媒AI系統建置者