Taalas-Style On-Chip Weights on a $250 FPGA: a Language Model at 60k tok/s

316만 파라미터 INT4 트랜스포머가 250달러짜리 AMD Kria KV260 FPGA의 온칩 메모리 안에서만 돌아갑니다. 토큰 루프에 DRAM이 한 번도 끼지 않습니다. 토큰을 하나씩 뽑는 일은 연산이 아니라 메모리에 묶여 있어서, 가중치가 칩 밖 DDR에 있으면 전용 회로를 아무리 붙여도 속도가 거기서 막힙니다. 그래서 가중치와 활성값, KV 캐시가 전부 FPGA 자체 URAM과 블록 램에 들어갈 때까지 모델을 줄였습니다.

배포된 채팅 빌드에서 잰 속도는 초당 약 21,300토큰입니다. 같은 모델을 보드의 Arm 코어에서 돌리면 11토큰, RTX 3050 Ti 노트북에서는 719토큰이고, 아무것도 기억하지 않는 16스트림 변형은 59,965토큰까지 올라갑니다. 브라우저 위젯이 웹소켓으로 실제 보드에 연결되어 있어 '옛날 옛적에'를 던지면 진짜 칩이 뒷이야기를 씁니다. 다만 학습 말뭉치인 TinyStories를 내용어만 남기도록 깎아 쓴 탓에 답변은 뚝뚝 끊기고, 질문에 답하기보다 이야기를 이어 씁니다.