27B 模型塞進 iPhone：PrismML 的 1-bit Bonsai 只要 3.9GB

新創 PrismML 發表 Bonsai 27B，宣稱是第一個能在手機上跑的 27B 級模型。它以 Qwen3.6 27B 為基礎，提供 1-bit 二元與 1.58-bit 三元兩種極限量化版本：1-bit 版模型檔只有 3.9GB，能塞進 iPhone 17 Pro 的記憶體預算，實測每秒產出 11 個 token；效能保留率是最大亮點——三元版達到全精度基準的 95% 以上，1-bit 版也有 90% 以上。

規格細節顯示這是玩真的：兩個版本都是多模態，視覺塔以 4-bit 形式一起塞進手機，裝置端因此能直接看截圖、文件與相機畫面；推理端靠為混合注意力架構特製的低位元核心，在 Apple 硬體上走 MLX、在 NVIDIA GPU 上走 CUDA，Hugging Face 上已經放出 GGUF 與 MLX 格式的權重。CNBC 報導還提到一個彩蛋：PrismML 執行長透露 Apple 正在評估他們的技術。

在 HN 上這條拿下 310 分，社群興奮的點很具體：27B 級的多步推理、結構化工具呼叫與電腦操作代理迴圈，以前是雲端 API 的專利，如今放進口袋還能離線跑。1-bit 量化從 BitNet 論文時代的學術好奇，兩年內走到消費硬體可用，速度超出多數人預期。

歸剛點評：裝置端 AI 的競爭邏輯要改寫了——手機廠拚的過去是誰的晶片跑得動 3B 小模型，接下來是誰能把 27B 級智慧跑順。對開發者的直接紅利是隱私敏感的應用（醫療、財務、私人助理）終於有了能打的離線選項。Apple 在評估這件事本身就是訊號：自研模型跟採購技術之間，蘋果的天平還在晃。