Training a 125M-Parameter Model to Autocomplete Piano

把 MIDI 鋼琴接到手機上，彈幾個小節，讓模型接著彈下去。作者繞著這一個念頭折騰了將近一年。文章記下十四輪實驗，最後落在一個 125M 參數的 transformer 上，在 iPhone 15 上每秒約 108 個音符，跟得上即時演奏。真正起作用的不是把模型做大。MIDI 怎麼切成 token 影響更大：把音高和力度塞進同一個 note-on token，詞彙表會漲到一萬六千以上，而把表示法拆成一套文法之後就小了許多。其餘則靠大刀闊斧的資料清理與一輪 DPO 後訓練補上。文章附了真新鎮、蒂娜主題曲與給愛麗絲的音訊樣本，成品的 iPhone 與 iPad 應用程式 RollTab 免費提供。