LLM Attention Visualization

這個頁面在瀏覽器中以 Transformers.js 執行約 6 億參數的模型，讓它先寫出一段回覆。接著點選或把游標移到任一個產生出來的 token 上，前文就會依影響程度顯示深淺。深淺的計算相當簡化：把注意力權重乘上值向量的大小，跨所有注意力頭與所有層加總，再以最大值為 1 正規化。在範例「除錯平均值函式」中，模型幾乎原封不動地重寫了整段 JavaScript 函式，只改動需要修正的部分。