8月25日
10:51
10:51官方账号arXiv cs.AI@Na Li, Yuchen Jiao, Changxiao Cai, Gen Li
精选
ConvergeFlow 是一种基于嵌入空间的流语言模型,通过约束数据预测器到标记嵌入的凸包,并仅用流匹配引起的均方误差目标进行训练。实验表明,ConvergeFlow 在 OpenWebText 上的性能与现有连续和离散扩散语言模型相当。
推荐理由:Na-Li66团队发布了ConvergeFlow,这是一种基于嵌入空间的流语言模型,它通过改进训练方法,在性能上与现有模型相当,值得一试。
8月20日
10:20
10:20官方账号arXiv cs.LG@Zachary Speck, Asa Shepard
使用124M参数的GPT - 2模型在OpenWebText数据集上训练32个模型,每个模型在第200步时替换一行批次数据测试示例影响,发现示例暴露后50步预测更好但最终无差异,跨熵等基准测试也显示无显著差异。
推荐理由:GPT - 2团队做了小规模单例反事实实验,测试示例学习后效果,和其他条件对比结果很有意思。