Airllm

用一块 4GB 的 GPU 跑 700 亿参数的语言模型，是 AirLLM 给自己定下的目标。大模型要多大就得配多少显存，这堵墙一直在，而 AirLLM 的做法是从推理路径本身下手，把内存占用一路削到一块普通显卡也够用。硬件条件一般的人因此也有机会亲手摸到前沿模型。开发者、研究人员和纯粹好奇的爱好者都在用它，软件开发和研究场景都能接进去。