LLM Attention Visualization

트랜스포머 모델은 다음 토큰을 만들 때 앞에 나온 모든 토큰을 참고할 수 있으며, 그중 무엇에 기댈지 스스로 고릅니다. 이 페이지는 약 6억 파라미터짜리 모델을 Transformers.js로 브라우저에서 돌려 답을 쓰게 한 뒤, 생성된 토큰을 누르거나 그 위에 마우스를 올리면 앞쪽 글자의 진하기로 그 선택을 보여 줍니다. 진하기는 어텐션 가중치에 값 벡터 크기를 곱한 뒤 모든 헤드와 레이어에 걸쳐 합친 값이라, 실제 영향력을 그대로 잰 수치가 아니라 크게 단순화한 근사치입니다. 그래도 사무실 이전 요약 예제에서 주소나 날짜를 그대로 옮겨 적은 대목을 짚으면, 원문의 해당 줄이 뚜렷하게 떠오릅니다.