約 2 時間でゼロから学習する 64M パラメータ LLM
jingyaogong/minimind ↗, Python, Apache-2.0, 最終コミット 3日前
6,400 万パラメータの言語モデルを約 2 時間でゼロから学習してみるオープンソースのレシピです。Python のコードが学習パイプラインを段階ごとにたどる構成で、それぞれの部品が読み切れる大きさに収まっているため、LLM の学習が実際にどう動くのかを手を動かして学ぶ教材にもなります。