Airllm

大きなモデルにはそれ相応のメモリが要る、という壁が立ちはだかります。AirLLMは推論の経路そのものを削ってメモリ使用量を落とし、4GBのGPU一枚で700億パラメータの言語モデルを動かすところを目標に置いています。手元の機材が控えめでも最新のモデルに直接触れる余地は、そこから生まれます。大規模言語モデルを試したい開発者、研究者、趣味で触る人が主な使い手で、ソフトウェア開発にも研究にも同じように差し込めます。