GEMM（General Matrix Multiply，通用矩阵乘法）是高性能计算和人工智能领域中的基本运算操作，广泛应用于深度学习算法和科学计算的核心部分。近期，GEMM在AI加速和优化方面取得了多项重要进展。
GEMM 近期进展
2026年7月，TileLang被用于设计高性能GPU内核，包括Tensor-Core GEMM、融合Softmax与FlashAttention，展示了GEMM在AI加速中的具体应用 用TileLang设计高性能GPU内核：Tensor-Core GEMM、融合Softmax与FlashAttention教程。龙芯近期发布了自研GPU加速计算平台首版软件，兼容CUDA，支持AI推理，这表明国内在GPU硬件和软件生态方面有新进展 龙芯发布自研GPU加速计算平台首版软件：兼容CUDA，支持AI推理。
融合INT8 GEMM内核让Ideogram 4.0在RTX 3090上加速1.1倍，展示了GEMM优化的实际性能提升 融合INT8 GEMM内核让Ideogram 4.0在RTX 3090上加速1.1倍。
当前焦点与观察点
近期研究表明，"Transformer本质是GEMM + epilogue"，LLM可以写光速内核，强调了GEMM在Transformer架构中的核心地位 Transformer 本质是 GEMM + epilogue，LLM 可写光速内核。SpenseGPT实现了LLM推理的稀疏与密集GEMM，表明GEMM在大型语言模型优化中的应用正在向更灵活的方向发展 SpenseGPT：一次性剪枝实现LLM推理的稀疏与密集GEMM。
分布感知MoE推理方法DA-MoE使用自适应内核调度，可能涉及GEMM操作来优化大语言模型推理 分布感知MoE推理：DA-MoE自适应内核调度方法。