Marin

Marin은 대규모 언어 모델 학습을 중심으로 묶인 연구 프로그램이자 소프트웨어 플랫폼이고 동시에 커뮤니티입니다. 다루는 범위가 데이터 선별과 변환, 필터링, 토크나이즈, 사전학습, 사후학습, 평가까지 이어집니다. 완성된 체크포인트를 내놓고 끝나지 않는다는 뜻입니다. 특징은 산출물과 인프라뿐 아니라 그 모델을 만드는 과정에서 얻은 지식까지 공개하겠다고 못 박은 점입니다. 저장소가 내건 핵심 가치는 열린 개발입니다.