Taalas-Style On-Chip Weights on a $250 FPGA: a Language Model at 60k tok/s

316万参数的INT4 Transformer，完全跑在售价250美元的AMD Kria KV260 FPGA的片上内存里，token循环中一次DRAM都没访问。逐个生成token受限于内存而非算力，权重放在片外DDR时，再多的定制电路也把速度顶死；出路是把模型缩到权重、激活值和KV缓存全部装进FPGA自带的URAM和块RAM。

实测数据：线上部署的对话版本约每秒21,300个token，同一块板子的Arm核心11个，RTX 3050 Ti笔记本719个，什么都不记的16路版本冲到59,965个。网页组件通过WebSocket连着真实硬件，丢一句“很久很久以前”，真芯片就把故事接下去。训练语料TinyStories被削成只保留实词，所以回复短促生硬，比起回答问题它更愿意把故事写下去。