Sakana AI 12月启动自研大模型预训练,代号 Sakana Sawara
Sakana AI 之前只做事后训练和多模型编排,现在要自己从零预训练模型了,12月先训练一个小尺寸版本。想看日本团队能不能在预训练这个重投入环节闯出一条路的话,这篇访谈讲了他们的思路。
Sakana AI 宣布将于 12 月启动小型模型 Sakara Sawara(仮称)Small 的预训练训练,这是该公司首次进入大语言模型预训练环节。此举由公司 Chief Scientist 秋叶拓哉在 10 月的研讨会上公布,ITmedia AI+ 随后采访了其背景与目标。
此前 Sakana AI 的技术积累集中在两个环节:Sakana Namazu 项目负责事后训练(post-training),Sakana Fugu 项目负责多模型编排(orchestration)。公司判断当前是从模型结构层面切入预训练的合适时机,Sawara Small 将补齐这条从底层预训练到上层编排的完整技术链。
Sakana AI 由 Transformers 论文作者之一 Llion Jones 等人创立,此前以进化模型合并(EvoLLM、EvoV2)和 AI Scientist 等研究项目闻名,本次预训练计划标志着其从研究实验转向自研基础模型路线。
ITmedia AI+ さまに、Sakana AIがなぜ今、大規模言語モデルの事前学習に取り組むのかを取り上げていただきました。
10月のシンポジウムで弊社Chief Scientistの秋葉拓哉が発表した「Sakana Sawara(仮称)」について、背景やねらいをお答えしました。
Sakana Namazuで取り組んできた事後学習、Sakana Fuguのオーケストレーションに引き続き、今、モデルの層で事前学習に挑む好機が来たと考えています。12月にSawara Small(仮称)の事前学習を開始 する予定です。
記事はこちら🐟️ https://t.co/FJAwLyY8iL
本条情报归属 AITOP「模型」核心追踪栏目。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Sakana AI、Sakana Sawara、预训练、开源模型,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Sakana AI」(@SakanaAILabs),经 AITOP 多维评分管线结构化提炼。