#数值精度

共 4 条 · 7 天 1 条 · 30 天 2 条
信息流里打上「数值精度」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月17日
微调能换来多少解码确定性?边际正则化抑制批处理导致的 token 翻转

一篇挺有意思的研究:贪心解码其实不是确定性的,同一 prompt 换个 batch 就可能输出不同 token。作者用 logit 边际正则化在 GSM8K 上把发散率从 53.8% 压到 38.1%,代价 1-3 个准确率点。做需要可复现输出的服务或评测的同学可以看看。

arXiv cs.AI@Charan Teja Nagisettygari, Siva Raja Sindiramutty原文
10月30日
9月23日
7月31日