Marin

Marinは大規模言語モデルの学習を軸にまとめられた研究プログラムであり、ソフトウェアプラットフォームであり、コミュニティでもあります。扱う範囲はデータの選別と変換、フィルタリング、トークナイズ、事前学習、事後学習、評価まで続きます。完成したチェックポイントを出して終わりにしないという意味です。特徴は、成果物やインフラだけでなく、そのモデルを作る過程で得られた知識まで公開すると明言している点にあります。リポジトリはオープンな開発を中核の価値として掲げています。