TinyStories 是微软研究院于 2023 年提出的一项研究思路：通过让大模型合成简单的儿童故事语料，再用这些数据训练 1M 到 33M 参数量级的极小语言模型，使原本只有在数亿参数以上才出现的流畅、连贯文本生成能力下探到超小模型上。它证明了数据质量可以在很大程度上替代模型规模，至今仍是小模型训练、训练动力学研究和模型可解释性分析领域的常用参照系。
TinyStories 相关的近期进展
围绕小模型能学到什么、怎么学得更好，近期出现了多项与 TinyStories 思路一脉相承的工作：
当前焦点与观察点
TinyStories 的影响力已经超出其原始结论本身。其一，它确立了"合成数据 + 小模型"作为研究训练动力学的标准实验平台，近期关于性能先升后降、注意力机制解释等工作都在沿用这一思路；其二，业界开始追问这些在小模型上的发现能否外推到大模型，尤其是当合成数据占比越来越高时，小模型实验的结论是否依然成立。值得关注的观察点包括：小模型训练曲线中的非单调现象是否在大模型上复现、合成数据的质量边界在哪里，以及新的生成范式（如概念级预测）能否在小模型验证后走向实用。