Airllm

4GB짜리 GPU 한 장으로 700억 파라미터 언어 모델을 돌린다는 것이 AirLLM이 내건 목표입니다. 대형 모델은 그만한 메모리가 있어야 한다는 벽 앞에서, 추론 과정을 깎아 메모리 사용량을 떨어뜨리는 방식으로 길을 냅니다. 덕분에 장비가 변변치 않은 사람도 최신 모델을 직접 만져 볼 자리가 생깁니다. 대형 언어 모델을 실험하려는 개발자와 연구자, 취미로 손대는 사람들이 주로 붙잡는 도구이고, 소프트웨어 개발이든 연구든 들어가는 자리를 가리지 않습니다.