ARK：为分离式 LLM 推理中的 KV Cache 传输解决路由冲突
KV Cache 传输是网络里的巨流，ECMP 哈希一撞就堵。ARK 只调源端口就能避开，FCT 降了 27.3%，做推理基础设施的可以看看。
#ECMP
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「ECMP」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月2日
KV Cache 传输是网络里的巨流，ECMP 哈希一撞就堵。ARK 只调源端口就能避开，FCT 降了 27.3%，做推理基础设施的可以看看。