AITOPAI热报
今日精选全部动态早读东盟 AIAgent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOPAI热报

DARTS

共 2 条相关 AI 资讯
8月31日
11:41
11:41官方账号arXiv cs.LG@Aaryan Ajay Sharma, Sai Nishanth Padala, Seganrasan Subramanian
精选73°
DARTS是一种针对解码器模型表示偏差的调优方法。该方法解决了解码器模型中因果注意力掩码导致的偏差累积问题,以及高熵位置比低熵位置更重要的挑战。研究团队在Llama-2-7B模型上进行了测试,在HumanEval、GSM8K和AlpacaEval三个基准上表现优异。
论文DARTSLlama-2-7B模型合并

推荐理由:DARTS解决了模型合并中的表示偏差问题,只需增加0.1%参数就能显著提升多任务性能。
原文
8月17日
10:23
10:23官方账号arXiv cs.AI@Abhishek Shukla, Ankur Sinha, Faiz Hamid
LP-NAS提出用线性规划求解可微分架构搜索中的更新方向,利用验证损失梯度与训练损失Hessian信息。该方法在DARTS搜索空间上派生出S-LP-DARTS和R-LP-DARTS两个变体,早期搜索迭代中收敛更快、验证性能更高。在CIFAR-10和CIFAR-100上,LP-DARTS在搜索与评估阶段均优于标准DARTS。与P-DARTS、PC-DARTS、STO-DARTS在CIFAR-10上的对比也显示其有效性,并在ImageNet上验证了迁移性。
论文LP-NASDARTSCIFAR-10

推荐理由:LP-NAS用线性规划算更新方向,CIFAR-10/ImageNet上优于DARTS及其变体。
原文
精选动态早读东盟登录