模型多源确认

Anthropic 模型响应速度实测:部分指标快过 DeepSeek-Flash,但首 token 延迟偏长

精选理由

有人实测了 Anthropic 和 DeepSeek-Flash 的速度差异,还挖出 Anthropic 首字延迟长的可能原因,做 API 选型可以参考下这些数字。

一项速度对比测试显示,按不同口径测量,Anthropic 的模型在整体生成速度上已快过 DeepSeek-Flash。不过其 API 的 TTFT(首 token 时间)明显偏长。发帖者猜测 Anthropic 可能在返回前对内容做了筛查或重写,再延迟流出 token,这或许也起到隐藏批处理(batching)的作用。

原文 · Teortaxes

Depending on how you measure, Anthropic's models are *faster* than DeepSeek-Flash now. They have curiously long TTFT on API, though. (I guess this is complete bullshit and they're doing screening/rewriting and then stream tokens with delay? Might also help them hide batching) https://t.co/MCvgrNJkf6