Transformers是一种基于自注意力机制的深度学习模型架构，已成为现代大型语言模型的基础。自2017年由Google提出以来，Transformers架构不断演进，在自然语言处理领域占据主导地位。2024年9月发布的DeCAL模型展示了Transformers在视觉-语言-动作多模态任务中的新应用。
Transformers 近期进展
Boltzbit提出的Bayesian Self-learning Transformers创新性地用参数更新替代外部记忆，简化了模型结构。2024年9月，Boltzbit与剑桥团队合作提出BAST框架，利用超网络将对话知识动态写入权重，提高了模型在对话场景中的表现。Boltzbit与剑桥团队提出 BAST：用超网络把对话知识动态写入权重NVIDIA于2024年9月开源了Nemotron 3 Diarization说话人分离模型，展示了Transformers在音频处理领域的应用能力。同时，Transformers与GGML合作优化性能，并支持llama.cpp量化模型，提高了模型部署效率。NVIDIA 开源 Nemotron 3 Diarization 说话人分离模型
当前焦点与观察点
Transformers架构正从纯文本处理向多模态扩展，结合视觉、语音等多种数据类型。2024年9月发布的TRACE框架实现了自主机器人决策的可追溯性，展示了Transformers在机器人控制领域的潜力。TRACE框架实现自主机器人决策可追溯性能优化和模型轻量化成为重要方向，使Transformers能在更多场景中部署。开源生态系统持续发展，Hugging Face等平台推动Transformers技术的普及和应用。NVIDIA与Hugging Face的关系发展也将影响整个Transformers生态系统的未来走向。