论文13:25LECAT 框架揭示预训练数据如何影响 LLM 类别知识学习做预训练或数据清洗的人应该看:研究者从零训了 68M 小模型,证明语料里逐字重复的规则式句子反而让模型学不会灵活泛化,混合多种表达方式效果更好。对大模型也一样成立,能直接指导数据配比。#LECAT#预训练数据#LLM#类别知识aarXiv cs.AI@Jimin Mun 等 3 人原文稍后读已读值得跟进有用关注 LECAT