Training a 125M-Parameter Model to Autocomplete Piano

把 MIDI 钢琴接到手机上，弹几小节，让模型接着往下弹。作者围着这一个念头折腾了将近一年。文章记录了十四轮实验，最终落在一个 125M 参数的 transformer 上，在 iPhone 15 上每秒约 108 个音符，跟得上实时演奏。真正起作用的不是把模型做大。MIDI 怎么切成 token 影响更大：把音高和力度塞进同一个 note-on token，词表会涨到一万六千以上，而把表示拆成一套语法之后就小了很多。剩下的部分由激进的数据清洗和一轮 DPO 后训练补上。文中放了真新镇、蒂娜主题曲和致爱丽丝的音频样例，成品的 iPhone 与 iPad 应用 RollTab 免费提供。