AITOPAI热报

小型模型

共 4 条相关 AI 资讯
8月26日
04:06
8月24日
19:08
7月15日
10:56
10:56官方账号arXiv cs.AI@Mehmet Iscan
PoPE（Popperian Placebo-Controlled Evaluation）是一种用于测量代码模型能否利用错误证据进行自修复的评估方法。在0.5-1.5B参数的冻结小型代码模型上，通过提示通道和权重通道（小数据适配器训练）进行测试。提示通道中，内容消融安慰剂组解锁12单元，真实错误模式组解锁10单元（40单元抗性带），未发现机制差异。权重通道中，错误内容适配器与无干预基线打成8-8平局（p=1.0），而SHA扰乱安慰剂适配器以10个解锁领先。结果未证实错误内容可带来显著优势。
论文PoPE代码生成自我修复
推荐理由：这篇论文用严格安慰剂对照方法戳穿了代码模型自修复的假设，在0.5-1.5B模型上实测发现错误内容并没带来明显改善，想了解模型能力边界可以看看。
原文
7月14日
06:12
06:12官方账号Cohere@cohere
Cohere与Hugging Face共同赞助了一场以“回归构建小型模型”为主题的黑客马拉松。两个使用Cohere模型的项目在活动中获奖，它们分别创作了有用、有趣或酷炫的作品。该活动旨在推动小型模型的创新应用。
行业CohereHugging Face黑客马拉松
推荐理由：Cohere和Hugging Face搞了个黑客马拉松，鼓励大家做小模型，有两个项目拿奖了，挺有意思。
原文