Discord 承認 AI 審核 bug:兩個月錯封 8,000 人,棋盤和試算表被當成違規內容
Discord 承認其 AI 審核系統的一個 bug 從 5 月起錯誤封禁了超過 8,000 名用戶,被誤判的圖片包括試算表截圖、棋盤、遊戲材質貼圖,以及白色與灰色的透明背景。上週末又有 200 人被封,工程團隊才定位並修復問題,受影響帳號目前陸續恢復中。
Discord 在 X 上的說明還原了機制:自動安全系統把上傳內容與已知有害素材資料庫做相似度比對,這種比對本來就會產生誤報,所以設計上信任與安全團隊的人員一定會先複核才處分;bug 讓系統跳過人審、直接永久停權。官方承諾「正在建立更好的防護,讓這種事不再發生」。
用戶端的推測補上了為什麼是網格:過去有人用網格圖形遮擋違規內容以躲避自動偵測,系統對格狀圖案因此變得過度敏感。受害者的損失很具體——有遊戲總監因為上傳自家遊戲貼圖被判定為兒虐內容,工作用的主帳號直接蒸發,所有專案溝通斷線。
前例不少:去年 Instagram 與 Facebook 社團也爆發過大規模無法解釋的停權潮。平台規模愈大愈依賴自動化審核,而「比對、人審、處分」流程裡任何一段保險絲失效,燒掉的都是用戶的數位身家。
歸剛點評|用 Discord 經營社群的台灣團隊(遊戲、NFT、粉絲社群都算)該做三件事:管理員權限至少雙人持有、重要公告與名單在平台外留備份、建立會員的備援聯繫管道。平台的自動化善意不會為你的營運連續性負責,一個 bug 就是兩個月、八千人。
來源:TechCrunch