#通信效率
共 3 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「通信效率」标签的资讯、产品与论文,按刊登时间排,新的在上。
6月16日
6月10日
GASLoC:统一本地通信与本地更新的LLM预训练新算法
GASLoC解决了分布式LLM训练中通信效率与异构带宽的痛点,做大规模模型预训练的团队可以直接参考实验对比,看看能否替代现有方案。
5月14日
KVServe:服务感知的KV缓存压缩,提升分离式LLM服务通信效率
KV 通信已成为分离式 LLM 服务的瓶颈,KVServe 用自适应压缩解决了静态策略的次优问题。做 LLM 推理系统优化或部署大规模服务的团队,这个框架值得关注,可以直接集成到 vLLM 中试用。