01
4.0GateGPT：FPGA上80MHz下每秒处理5.6万Token的Transformer（KV缓存）
该技术方案展示了在FPGA上以80MHz主频实现Transformer模型推理，通过KV缓存优化达到每秒5.6万Token的处理速度。这一成果证明了低功耗硬件加速器在高效运行大型语言模型方面的潜力，为边缘计算和实时AI应用提供了新的可能性。
hntech
本文梳理了KV缓存压缩技术从MQA、GQA到MLA及线性注意力混合模型的演进历程，揭示这些看似低调的技术革新如何悄然解锁了长上下文窗口，从而为现代智能体大语言模型（Agentic LLMs）的实现奠定了基础。
本文梳理了KV缓存压缩技术从MQA、GQA到MLA及线性注意力混合模型的演进历程，揭示这些看似低调的技术革新如何悄然解锁了长上下文窗口，从而为现代智能体大语言模型（Agentic LLMs）的实现奠定了基础。
该技术方案展示了在FPGA上以80MHz主频实现Transformer模型推理，通过KV缓存优化达到每秒5.6万Token的处理速度。这一成果证明了低功耗硬件加速器在高效运行大型语言模型方面的潜力，为边缘计算和实时AI应用提供了新的可能性。
SubQ 1.1 发布了一份技术文档，介绍了其线性缩放稀疏注意力机制。该模型在1200万token的超长上下文场景下依然保持98%的高检索率，突破了传统注意力机制在长序列处理上的计算瓶颈。文档详细阐述了SubQ架构如何通过稀疏化实现与序列长度成线性关系的计算复杂度，从而高效处理极长文本而无需牺牲准确性。
Luce KVFlash 是一项针对大语言模型推理的优化技术，通过在 GPU 上仅使用 72MiB 的 KV 缓存即可支持高达 256K token 的上下文窗口。该技术显著降低了显存占用，使得长序列推理在消费级显卡上成为可能，同时保持推理速度和模型质量。
Subquadratic 发布了 SubQ 1.1 Small，这是一款基于子二次注意力机制的高效语言模型。该模型在保持线性复杂度推理优势的同时，进一步优化了训练效率与性能表现，为长序列任务提供了更具成本效益的解决方案。
本文梳理了KV缓存压缩技术从MQA、GQA到MLA及线性注意力混合模型的演进历程，揭示这些看似低调的技术革新如何悄然解锁了长上下文窗口，从而为现代智能体大语言模型（Agentic LLMs）的实现奠定了基础。