Reame

Reame は GPU ではなくディスクに寄りかかる CPU 推論サーバーです。処理したプロンプトやプレフィックス、過去の生成をキャッシュしておくため、先頭が同じ要求は2回目から明らかに速くなります。100 回目の要求は1回目のごく一部の費用で済む、という具合です。API は OpenAI 互換で、土台には llama.cpp があります。無料枠や共有 VPS、2 コアの ARM ボックスというあたりが、想定されている置き場所です。