歸剛誒AI

歸剛欸,AI 又進步了——每天幫你盯 AI 圈的台灣人日報

← 回首頁 · 回第 26 期(2026-07-05)
研究・2026-07-05

把「模糊函式」編譯成權重:PAW 讓 0.6B 小模型幹出 32B 的活

日常工程裡有一大類任務用規則寫不乾淨、丟給 LLM API 又太貴:從日誌裡挑出重要行、修復格式壞掉的 JSON、按意圖排序搜尋結果。滑鐵盧大學的 Program-as-Weights(PAW)提出第三條路:把「模糊函式」當成可編譯的程式——用一個 4B 的編譯器模型讀自然語言規格,直接生成參數高效的 adapter 權重,掛到一個凍結的 0.6B Qwen3 直譯器上執行。

數字是亮點:0.6B 直譯器搭配 PAW 生成的 adapter,任務表現追平直接提示 Qwen3-32B,推論記憶體只要約五十分之一,在 MacBook M3 上跑出每秒 30 token。訓練編譯器用的 FuzzyBench 資料集包含一千萬個範例,隨論文一併釋出。範式轉換藏在架構裡:基礎模型從「每個輸入都要勞駕一次的解題者」變成「工具製造者」——定義函式時呼叫一次大模型,之後每次執行都是便宜、離線、可重現的本機呼叫。

論文以 69 個讚登上 Hugging Face 七月三日的日榜第一。放進本週的脈絡看更有意思:昨天的 pxpipe 把上下文壓成圖片省 token,今天的 PAW 直接把重複呼叫壓成權重,兩條路都在攻同一個痛點——LLM API 的邊際成本。若 PAW 路線成熟,大量「輕度智能」的膠水任務會從 API 帳單上消失,變成一次編譯、無限次執行的本機資產。

局限也該記著:目前展示集中在分類、抽取、修復這類窄任務,需要多步推理或開放生成的場景還不在射程內。

歸剛點評|「呼叫一次大模型、換一個永久免費的小函式」的成本結構,對每天燒 API 的團隊是致命誘惑。建議盤點自家管線裡的重複性 LLM 呼叫——分類、抽取、格式修復這類,都是 PAW 式方案最先吃掉的肥肉。

同期其他文章