前 Databricks AI 主管要用類比晶片,把推論耗電砍到千分之一
前 Databricks AI 主管、MosaicML 創辦人 Naveen Rao 的新公司 Unconventional AI,在週四丟出第一個模型 Un-0,是一套影像生成工具。它的意義不在畫得多漂亮,而在於首次證明這家公司那套非主流的運算架構,真的能複製傳統 AI 系統做得到的事。
這套架構的核心,是一種以震盪器為基礎的計算方式,並偏向走類比而非純數位。Rao 的論點是:機器學習本來就帶有隨機性,未必需要一個樣樣精準的數位平台來跑。把容許誤差的類比運算和需要精確的數位邏輯混搭,就能用更省的方式加速不同階段的工作。
他喊出的目標很大膽——最終要把推論的耗電降到現在的千分之一。Rao 形容未來的樣子:機器擺在那裡跑 AI 模型,一條網路線進來是提問、出去是答案,全程只用千分之一的電。Databricks 自己也投了這家公司,Rao 與三位共同創辦人已募得 4.75 億美元種子輪,估值來到 45 億美元。
耗電正是當前 AI 擴張最現實的天花板,資料中心搶電、搶水、搶土地的新聞天天有。如果類比路線真能把推論的電費壓到零頭,整個成本結構會被改寫。要保持冷靜的是,從一個影像 demo 到能跑大型語言模型的量產晶片,中間還有很長的路,前人在類比運算上摔過不少跤。
歸剛點評|電費是 AI 規模化最硬的天花板。類比晶片若真能把推論耗電壓到千分之一,會直接改寫成本結構;但從一個 demo 到量產,類比路線歷史上摔過很多次,先別急著歡呼。
來源:TechCrunch · The Register