11:41官方账号arXiv cs.LG@Aaryan Ajay Sharma, Sai Nishanth Padala, Seganrasan Subramanian精选73°DARTS是一种针对解码器模型表示偏差的调优方法。该方法解决了解码器模型中因果注意力掩码导致的偏差累积问题,以及高熵位置比低熵位置更重要的挑战。研究团队在Llama-2-7B模型上进行了测试,在HumanEval、GSM8K和AlpacaEval三个基准上表现优异。论文DARTSLlama-2-7B模型合并推荐理由:DARTS解决了模型合并中的表示偏差问题,只需增加0.1%参数就能显著提升多任务性能。原文稍后读已读值得跟进有用关注 DARTS
10:23官方账号arXiv cs.AI@Abhishek Shukla, Ankur Sinha, Faiz HamidLP-NAS提出用线性规划求解可微分架构搜索中的更新方向,利用验证损失梯度与训练损失Hessian信息。该方法在DARTS搜索空间上派生出S-LP-DARTS和R-LP-DARTS两个变体,早期搜索迭代中收敛更快、验证性能更高。在CIFAR-10和CIFAR-100上,LP-DARTS在搜索与评估阶段均优于标准DARTS。与P-DARTS、PC-DARTS、STO-DARTS在CIFAR-10上的对比也显示其有效性,并在ImageNet上验证了迁移性。论文LP-NASDARTSCIFAR-10推荐理由:LP-NAS用线性规划算更新方向,CIFAR-10/ImageNet上优于DARTS及其变体。原文稍后读已读值得跟进有用关注 LP-NAS