Together AI 把推理编译交给 Agent 循环自动调优,Llama 1B 上比手写 Megakernels 快 1.7 倍,InferenceX 上比开源引擎高 2.6 倍 TPS。做推理部署和性能优化的工程师值得看看这篇论文的机制细节和生产经验。
#编译器
共 12 条 · 7 天 2 条 · 30 天 7 条
信息流里打上「编译器」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月13日
Together AI 发布 Together Compiler:面向 AI 推理的持续编译系统
11月11日
Meta 开源 TLX:面向生产级 ML 的硬件原生 GPU 编译器扩展
Meta 开源了 Triton 的底层扩展 TLX,暴露 warp-group 和 cluster 级控制,写 kernel 的人不用再在性能和开发效率之间二选一。做推荐系统或 LLM 预训练调优的工程师可以看看这个。
11月6日
Together 发布 Together Compiler,推理优化从静态转向自适应
Together 发了个 Together Compiler,能把几周的人工推理调优压缩到一晚上自动跑完,做推理部署的可以看看思路。
11月3日
Google 用 AI 智能体集群修复 TPU 编译器静默错误
Google 让一群智能体去抓 TPU 编译器里最阴险的静默 bug,已经修了 142 个,还讲了人工审核的坑。
Google 用模糊测试和智能体集群验证 XLA:TPU 编译器正确性
Google 公开了怎么给 XLA 编译器找 bug:模糊测试加智能体集群自动写测试、复现、修,已抓出 142 个 bug,做 TPU 训练的值得看。
10月21日
IBM Spyre 团队解析 PyTorch 工作负载如何跑到 AI 加速器上
IBM 写的编译器拆解,讲清 PyTorch 代码怎么一步步变成 Spyre 加速器能跑的指令,搞硬件编译的人会很感兴趣。
10月20日
PatternBench 基准:评估 LLM 能否做出编译器做不到的代码优化
arXiv 上的新论文 PatternBench,专测 LLM 能否做出编译器做不到的代码优化,还用 AST 验证模型是不是真做了优化,做代码生成方向的研究者可以看看。
10月9日
T3 Stack作者开源TypeScript编译器Rust移植版
t3作者用Rust重写了TypeScript编译器,性能提升明显,是开发者的实用工具升级。
9月2日
8月12日
6月19日
模型10:22
AutoPass: 基于证据指导的LLM编译器性能调优框架AutoPass 把 LLM 变成编译器调优助手,不用训练就能在 x86 和 ARM 上跑出比 -O3 还快的速度,实测有 4-11% 的加速。
6月9日
产品21:12
LLVM/Clang 正式支持国产海光 C86-4G 处理器国产芯片生态再进一步——LLVM/Clang 的官方支持让海光 C86-4G 用户能直接获得编译优化,做国产化适配的开发者建议关注,后续编译性能会有实打实的提升。
IT之家原文