Reame

Reame는 GPU 없이 CPU에서 LLM을 돌리는 추론 서버입니다. 핵심은 캐시입니다. 한 번 처리한 프롬프트와 접두사, 지난 생성 결과를 디스크에 남겨 두기 때문에 같은 앞부분을 공유하는 요청은 두 번째부터 눈에 띄게 빨라집니다. 100번째 요청이 첫 요청의 몇 분의 일 비용으로 끝난다는 식입니다. API는 OpenAI 호환이고 바닥에는 llama.cpp가 깔려 있어, 무료 티어나 공유 VPS, 코어 두 개짜리 ARM 박스 같은 곳에도 올라갑니다.