Training a 125M-Parameter Model to Autocomplete Piano

MIDI ピアノをスマートフォンにつなぎ、数小節弾けばモデルが続きを弾く。その思いつき一つを一年近く追いかけた記録です。十四回の実験を経てたどり着いたのは 125M パラメータのトランスフォーマーで、iPhone 15 上で毎秒 108 音ほどとリアルタイムに追随します。効いたのはモデルの大きさではありませんでした。MIDI をどうトークン化するかが大きく、音高とベロシティを一つのトークンに詰めると語彙が 1 万 6 千を超えるのに対し、表現を文法へ分解すると一気に縮みます。学習データを思い切って整理したことと DPO による後処理が残りを埋めました。記事にはマサラタウン、ティナのテーマ、エリーゼのためにの音声サンプルが並びます。成果物である iPhone・iPad 向けアプリ RollTab は無料で使えます。