Google 揭 TPU 8i：為後訓練與高併發推理而生，加大片上記憶體

Google 這週揭曉了新一代自研晶片 TPU 8i。據 smol.ai 整理，它的定位很明確——專為「後訓練」與「高併發推理」這兩類工作優化，而不是只追求訓練超大模型的峰值算力。配置上的重點包括更大的片上 SRAM、一具集合通訊加速引擎（Collectives Acceleration Engine），以及一個叫 Boardfly 的新伺服拓撲。這幾項加起來，瞄準的是同時服務大量使用者、又要做複雜推理時的瓶頸。

為什麼是「後訓練與高併發推理」而不是純訓練？因為產業的算力需求重心正在移動。當前沿基礎模型的能力趨於拉平，真正燒錢、也真正決定使用者體驗的，變成怎麼把模型微調對齊（後訓練），以及怎麼在尖峰時段同時回應成千上萬個請求（高併發推理）。加大片上記憶體能減少資料在晶片內外搬運的開銷，對這兩類工作尤其有感。Google 把新晶片往這個方向調，等於押注「服務階段」才是下一波算力競爭的主場。

對台灣的科技與半導體圈，TPU 8i 是另一個值得追的訊號。雲端巨頭持續自研晶片，意味著它們想擺脫對單一 GPU 供應商的依賴、把算力成本握在自己手裡；而「為推理而生」的設計取向，也呼應了同一期投機解碼那條線——大家都在想盡辦法把伺服階段的單位成本壓下來。晶片、推論軟體、開源模型三條線，這陣子其實都指向同一個目標。