Prediction是人工智能领域的核心能力,指通过算法对未来事件或结果进行预先估计的技术。近期,Prediction技术在多个领域取得突破性进展,从大语言模型到时间序列分析,展现出强大的应用潜力。
Prediction 近期进展
7月,IIT Bombay与Adobe研究人员开发出一种近乎完美还原LLM提示词的方法,通过输出文本即可反向工程出原始提示词。IIT Bombay与Adobe新方法可近乎完美还原LLM提示词。
3.3倍的推理速度提升来自Next-Latent Prediction技术,让Transformer学会预测隐状态,显著提高模型效率。Next-Latent Prediction:让Transformer学会预测隐状态,推理加速3.3倍。
MTP技术在本地模型应用中表现突出,Qwen在Atomic Chat中提速2.5倍,atomic.chat用MTP让本地Qwen 27B从51飙到117 tokens/s。MTP 技术让 Qwen 在 Atomic Chat 中提速 2.5 倍。
当前焦点与观察点
Prediction技术的不确定性量化成为研究热点,通过分离输入模糊性可提升LLM错误预测能力。通过不确定性量化分离输入模糊性,提升LLM错误预测。
共形预测方法在反事实决策和图像分类中展现出优势,Localized Conformal Prediction为VLM提供了更可靠的预测边界。反事实决策中的预测集:覆盖、最优性与共形预测。
时序分割模型的Prediction与控制技术为复杂系统分析提供了新思路,OpenAI的研究展示了预测在控制理论中的应用潜力。时序分割模型的预测与控制。
无需数据增强的LeNEPA方法为时间序列Prediction提供了新思路,直接学习下一潜在状态,减少了对大量标注数据的依赖。LeNEPA:无需数据增强的下一潜在预测时间序列表示学习。