兩小時從零訓練一個 64M 參數的語言模型
jingyaogong/minimind ↗, Python, Apache-2.0, 最近提交 3天前
一份開源實作:在大約兩小時內從零訓練出一個 6,400 萬參數的語言模型。Python 程式碼按步驟走完訓練流程,每個部分都小到可以真正讀懂,因此這個儲存庫同時也是一門理解 LLM 訓練原理的動手課程。