Mesh LLM：把大模型推論拆到 iroh 上做分散式運算

在資料中心愈蓋愈大的同時，另一群人正往相反方向想事情。Mesh LLM 這個專案示範了把大語言模型的推論，架在 iroh 這套點對點網路之上做分散式運算——不靠單一集中的雲端伺服器，而是把工作拆散、丟給網路上多台裝置協作完成。

iroh 是一套主打直連、去中心的 P2P 網路框架，強調裝置之間能繞過中央伺服器直接建立連線。把 LLM 推論架在它上面，等於嘗試回答一個問題：如果算力可以由一群普通裝置湊出來，那我們是不是就不必什麼都仰賴超大機房？對隱私敏感、網路不穩、或單純不想把資料交給雲端的場景，這種架構有它的吸引力。

現實面當然還有一堆硬骨頭。分散式推論要處理延遲、頻寬、節點可靠度、把模型切開後怎麼協調這些老問題，短期內要跑贏集中式的 GPU 叢集並不容易。但這類專案的意義在於卡位一個方向——今天本站的資料中心反彈、蘋果裝置端晶片、離線生存電腦，講的都是同一股暗流：把 AI 從雲端往邊緣搬。Mesh LLM 是這股暗流在網路架構層的一次實驗。

歸剛點評：這種專案短期不會取代雲端，但它押的方向很值得盯。當資料中心開始被社區、被電網、被監管卡住，「算力去中心化」就從理想變成現實的備案。就算 P2P 跑大模型現在還笨重，光是有人認真在做，就代表市場開始不想把雞蛋全放在幾家超大雲廠的籃子裡。