跳到主要內容
搶先遇見新產品的地方
M

Maple-Preview

能在自有裝置上跑的三值權重開源推理模型

其他17天前
分類
其他
語言
英語
發布於
17天前

三值權重的意思是每個參數只用三種取值之一儲存,體積因此大幅縮小,不必租用 GPU,在手邊的硬體上就能推論。這是一個開源的 20B-A1B 推理模型,靠混合專家路由,每個 token 實際啟用的參數約十億,解碼成本相對總規模來說很低。

發布方是獨立研究機構 DeepGrove,口號是讓前沿模型跑在任何裝置上。機構給出的數字是:配合三值算子與自行開發的 FlashHead,在 16GB 的 M4 Mac mini 上達到每秒 218 個 token。提交到 Hacker News 時的標題則寫著在 iPhone 上每秒 120 個 token。發布日期是 2026 年 8 月 4 日。

喜歡這個產品嗎?