GPT-6带火循环Transformer，阿里早已布局

量子位@一水

博客/媒体· 11 个信源在谈

阅读原文分享

OpenAI的GPT-6模型采用了循环Transformer架构，这一技术在AI领域引发关注。阿里巴巴早在2023年就发表了相关顶会论文，展示了其在循环Transformer方面的研究。循环Transformer通过改进注意力机制，提高了模型处理长序列数据的能力。在多个基准测试中，循环Transformer架构展现出优于传统Transformer的性能。