AI 低延迟需求增长，城市内边缘数据中心角色受关注
这篇讲的是数据中心怎么摆位置的问题：训练放郊区，推理搬进市中心来压低延迟。做实时 AI 应用或者关心东南亚机房布局的人可以看看，思路和 AWS Local Zones 这类边缘方案是相通的。
#低延迟
共 24 条 · 7 天 1 条 · 30 天 2 条
信息流里打上「低延迟」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月10日
10月30日
论文10:46
SatOps-Decision：90.3 毫秒低延迟星载卫星通信决策模型一篇把判别式决策模型搬到卫星通信上的论文，单次前向 90 毫秒出决策，准确率还比生成式基线高出一大截，做边缘部署的可以看看。
9月22日
Karpathy：低延迟、无思考的 LLM 是被低估的 Pareto 最优点
Karpathy 发推说，低延迟不推理的模型不是过时货，是被高智能竞赛挤掉的刚需市场，观点讲得挺透。
9月17日
SpaceXAI 推出 Grok Voice，在 fal 平台实现 0.70 秒语音响应
SpaceXAI 新出的 Grok Voice 语音模型，在 fal 平台能用 0.70 秒就回话，比很多同类产品快，适合做低延迟的客服智能体。
8月27日
乌兰察布：中国AI计算崛起的“代币工厂”
乌兰察布的绿色能源和低延迟为AI计算提供了优势，值得关注其发展潜力。
8月11日
NVIDIA发布Magpie TTS：开放权重低延迟多语言语音代理
NVIDIA把Magpie TTS开放权重了，能自己控制部署，低延迟跑多语言语音代理，比闭源API灵活。
7月29日
OpenAI 研究员盛赞 AMD 联合 AI 推理方案：表现“令人难以置信”
OpenAI研究员认证！AMD和Cerebras合作搞的AI推理方案，延迟低到任务秒完成，每瓦性能提升5倍，搞AI推理的可以看看。
IT之家原文
7月24日
Qwen-Audio-3.0-TTS Flash：面向低延迟实时交互的语音克隆模型
阿里出了个新TTS，能实时克隆声音，连不好的录音都能用，交互时延迟很低。
7月21日
Diff-Logic：用于边缘EEG低延迟分类的差分逻辑门网络
这论文把神经网路编译成纯布尔电路，在边缘设备上跑EEG分类，延迟低还省电。痴呆检测准确率比MLP高6.8%，值得搞BCI的人看看。
7月17日
阿里通义实验室发布 Wan-Streamer v0.2 模型，AI 视频电话响应延迟仅 550ms
阿里发了 Wan-Streamer v0.2，视频电话延迟才 550ms，画质从模糊到高清，还能边听边看边回应，挺有意思。
IT之家原文
7月10日
GPT-5.6 Luna：OpenRouter 推出的低成本快速推理模型
OpenRouter 出了 GPT-5.6 的便宜快版本，做聊天和智能体特别合适，比原版便宜还快。
7月8日
OpenAI 发布 Realtime 2.1 系列 AI 模型，p95 延迟降低 25%
OpenAI 的 Realtime 2.1 延迟更低，价格也更友好，做语音代理的直接换这个，体验提升明显。
IT之家原文
6月25日
Loka 用 Amazon Nova 2 Sonic 构建低延迟语音代理
Loka 用 Amazon Nova 2 Sonic 做出了几乎没延迟的语音代理，客户不挂电话，客服成本也降了。
6月16日
腾讯云发布AI体育流媒体方案：4K+亚秒延迟+20语言解说
腾讯云这个体育流媒体方案挺强的，4K画质亚秒延迟，还能自动用20种语言解说比赛，全球覆盖也广，搞直播的可以看看。
6月12日
Zyphra 发布 Zamba2-VL：混合 Mamba2-Transformer 视觉语言模型，首 token 延迟降低约一个数量级
做视觉语言模型部署或实时推理的开发者，Zamba2-VL 的首 token 延迟优势能显著提升用户体验，值得直接尝试。
Voxtral TTS 发布：低成本低延迟的语音模型
Voxtral TTS 在成本和延迟上显著优于现有方案，做语音合成或实时语音应用的开发者可以直接关注，技术报告也值得细读。
6月10日
DeepCogito用Together AI实现500ms首令牌延迟
做推理模型部署的团队会关心这个案例——Together AI帮DeepCogito在创业节奏下实现了500ms首令牌延迟，值得点开看看他们怎么做到的。
Gemini 3.5 Live Translate 上线，支持 70+ 语言低延迟翻译
做多语言实时翻译或语音应用的开发者，终于有了一个低延迟、支持 70+ 语言且能自动检测语种的音频模型，值得在 AI Studio 上直接试玩。
6月9日
谷歌发布 Gemini 3.5 Live Translate 实时语音翻译模型
谷歌新模型，能实时翻译70+语言
5月28日
Perplexity 开源 Unigram 分词器，CPU 利用率降低 5-6 倍
Perplexity 解决了推理管线中 CPU 分词这个容易被忽视的瓶颈，做低延迟 AI 应用或自建搜索/重排序系统的团队可以直接用这个开源方案来加速。
5月21日
谷歌发布 Gemini 3.5 Flash，低延迟低成本领先多项基准
Gemini 3.5 Flash 解决了高智能与低延迟的矛盾，做多步骤代理和编码的开发者可以直接用上，成本还更低，值得一试。
SuperTechFans原文
5月20日
Gemini 3.5 Flash 低延迟模型发布，专为实时编程优化
实时编程最怕打断思路，Gemini 3.5 Flash 的低延迟设计正好解决这个痛点，做高频编码的开发者可以直接在 Android Studio 里试试，体验心流状态。
5月15日
Streaming Speech-to-Text Translation with a SpeechLLM
做实时语音翻译的团队终于有了低延迟方案——延迟降到1-2秒且翻译质量不降，做会议同传或语音助手的开发者可以直接参考。
5月11日
NVIDIA Dynamo硬核修复：Agent推理与工具调用漂移问题
推文直指当前Agent系统在基础设施层面的共性痛点，NVIDIA给出的优化路径对降低延迟、保持上下文一致性及提升工具调用实时性有实际意义。