LLM Attention Visualization

Transformer 模型在生成时可以回看之前的任意词元，但必须有所取舍。这个页面用 Transformers.js 在浏览器里运行一个约 6 亿参数的模型，点按或悬停在任一生成的词元上，前文会按贡献大小显示深浅。深浅值是注意力权重乘以值向量的模长，再跨所有注意力头汇总、跨所有层求和后归一化得到的，是相当粗略的近似。

在示例的办公室搬迁摘要里，照抄的地址和日期会让原文对应位置格外醒目，这也说明了模型为何擅长逐字复制。