两小时从零训练一个 64M 参数的大模型
jingyaogong/minimind ↗, Python, Apache-2.0, 最近提交 3天前
一份开源实践:在大约两小时内从零训练出一个 6400 万参数的语言模型。Python 代码按步骤走完训练流程,每个部分都小到可以真正读懂,因此这个仓库同时也是一门理解 LLM 训练原理的动手课程。