swellweb/reame ↗, C++, MIT, 最近提交 12天前
Reame 是一台靠磁盘而不是靠 GPU 的 CPU 推理服务器。处理过的提示词、前缀和历史生成都会缓存下来，于是开头相同的请求从第二次起就明显变快：第 100 次请求的成本只是第 1 次的一小部分。API 兼容 OpenAI，底层是 llama.cpp。免费套餐、共享 VPS、双核 ARM 小盒子，都在它列出的可运行环境里。
喜欢这个产品吗？
swellweb/reame ↗, C++, MIT, 最近提交 12天前
Reame 是一台靠磁盘而不是靠 GPU 的 CPU 推理服务器。处理过的提示词、前缀和历史生成都会缓存下来，于是开头相同的请求从第二次起就明显变快：第 100 次请求的成本只是第 1 次的一小部分。API 兼容 OpenAI，底层是 llama.cpp。免费套餐、共享 VPS、双核 ARM 小盒子，都在它列出的可运行环境里。