LLM Attention Visualization

ブラウザ上でTransformers.jsを使って約6億パラメータのモデルに文章を生成させ、出力されたトークンをタップまたはホバーすると、生成時に参照された前方のトークンが濃く表示されます。濃さはアテンション重みに値ベクトルの大きさを掛け、全ヘッドと全レイヤーで合算して最大値を1に正規化したもので、かなり単純化した指標です。それでもサンプルの「オフィス移転の要約」で住所や日付をそのまま写した箇所を指すと、元の文面がはっきり浮かび上がります。