6月24日
12:10
12:10官方账号arXiv cs.AI@Ahmad Pouramini, Hesham Faili
该论文提出MTO框架,在编码器-解码器预训练语言模型上匹配任务与预训练目标。将微调模板与目标对齐后,在少样本设置下性能提升超过120%,并超越相关研究。在全数据集场景中也优于基线。框架还扩展至提示调优,提供软提示工程与优化的指导。
推荐理由:这篇论文教你怎么给不同任务选对预训练目标,少样本下性能直接翻倍,比传统方法强一大截。
6月9日
11:03
11:03官方账号arXiv cs.AI@Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, Sanae Lotfi, Micah Goldblum, Pavel Izmailov
精选
长上下文语言模型推理受限于内存,KV缓存随上下文长度增长。现有压缩方法要么降低模型质量,要么需要大量计算。本文提出Latent Context Language Models (LCLMs),一种编码器-解码器压缩器,通过架构搜索和预训练350B+ tokens,实现1:4、1:8、1:16压缩比。LCLMs在通用任务性能、压缩速度和峰值内存使用上均优于现有方法,并可作为长时智能体的高效骨干,支持自适应扩展相关片段。
推荐理由:长上下文推理的内存瓶颈终于有了一个兼顾质量与速度的解法,做LLM推理优化或长时智能体的开发者值得关注,LCLM的压缩方案可以直接用于生产环境。