四萬美元在家跑出「接近 Opus」：一份誠意滿滿的本機 LLM 硬體攻略

工程師 jamesob 把自己在家跑前沿開源模型的完整經驗開源成一份攻略，登上 Hacker News 熱榜。他給了兩個價位的答案：約兩千美元買兩張 RTX 3090 湊 48GB VRAM，就能跑 Qwen3.6-27B 加上 whisper-large-v3 的本機語音轉文字，已經非常夠用；約四萬美元上四張 RTX PRO 6000 湊 384GB VRAM，跑量化過的 GLM-5.2，他的評價是體感接近 Claude Opus 等級，速度約每秒八十個 token、上下文長度可拉到四十六萬。

省錢的巧思在基座：因為記憶體現在貴得離譜，他刻意用上一代 EPYC 加 eBay 淘來的 DDR4 組基礎系統，只花五千六百美元，把預算全部灌進 VRAM。另一個少見的選擇是用 c-payne 的 PCIe4 交換器讓 GPU 之間點對點直通，張量平行的 allreduce 不用繞過 PCI 根複合體，降低卡間延遲。攻略連 BIOS 分岔設定、關 IOMMU 避免 NCCL 卡死、在 110V 電路上限功耗這些坑都寫了。

開頭那句「如果 Dario 和 Altman 讓你心口發熱（他們應該要），往下讀」講明了動機：對雲端巨頭的依賴焦慮正在把一批人推向本機。對資料不能出門的行業——醫療、法務、金融——這份 BOM 等於一張現成的採購單，四萬美元換一台不用把資料交出去的準前沿模型工作站，帳其實算得過來。