模型精选
Anyscale 与 Lila Sciences 将 GLM-5.3-Flash 上下文扩展至 1M tokens 用于基因组训练
精选理由
基因组一条就是百万 token，他们把 GLM-5.3-Flash 的上下文拉到 1M，用 64 块 B200 训完，全程开源栈能抄作业。
基因组序列无法塞进 16k 上下文窗口，Anyscale 的 SkyRL 团队与 Lila Sciences 合作把 GLM-5.3-Flash 的单序列输入扩展到 1M tokens。整个后训练在 64 块 B200 GPU 上完成，用于 AI for Science 场景。训练采用的是完全开源的技术栈。
原文 · Anyscale
For post-training AI for science, a genome doesn't fit in a 16k context window. So we went to 1M.
To solve this, the SkyRL team at Anyscale worked with @LilaSciences to post-train GLM-5.3-Flash at 1M tokens per sequence on 64 B200 GPUs, using a fully open-source stack.
Learn more: https://t.co/dmM8jVXREM
