OpenAI 靠大規模 core dump 分析，揪出潛藏 18 年的老 bug

OpenAI 的工程團隊分享了一個硬派的除錯故事：他們用大規模的 core dump（程式崩潰時留下的記憶體快照）分析，去追查基礎設施上那些罕見、難以重現的崩潰，最後一口氣挖出兩個元兇——一個是硬體故障，另一個是埋藏了整整 18 年的軟體 bug。

這件事的工程意義，遠比『修了個 bug』來得大。在跑 AI 的超大規模叢集上，崩潰常常是百萬分之一的機率才出現一次，你根本沒辦法照著步驟重現，傳統 debug 那套『跟著複現一遍』完全失效。OpenAI 的做法是把這當成流行病學來做——不去追單一個案，而是蒐集海量崩潰快照，統計分析找出共通模式，像疾管署找傳染源一樣定位問題。他們把這篇文章取名為『core dump 流行病學』，正是這個意思。

對工程人來說，這裡有兩個值得帶走的點。第一，AI 時代的可靠度工程，越來越仰賴在巨量規模上做統計式診斷，而不是靠單機 debug 的直覺。第二，一個埋了 18 年的 bug 能被翻出來，說明這類大規模分析方法的威力——它能照亮那些平常頻率太低、根本沒人注意得到的暗角。當你的系統大到一定程度，連最罕見的問題都會頻繁發生，這套方法論會越來越重要。