Sakana AI 公布三大战略支柱：重启模型层研发
日本 Sakana AI 想重新下场做基础模型，把自家智能体技术用来跑预训练实验，还顺带介绍了 Namazu 和 Fugu 两个内部项目，思路挺少见。
Sakana AI 在东京举办研讨会，CEO David Ha 提出公司三大支柱：用 AI 智能体辅助下一代预训练模型开发、面向日语和商务场景的事后学习技术 Sakana Namazu、以及不依赖单一模型的编排技术 Sakana Fugu。首席科学家秋叶拓哉介绍了预训练项目 Sakana Sawara（暂称），认为开源模型与前沿模型差距缩小、模型制作成本下降，现在是重返模型层研发的时机。他强调预训练瓶颈仍在算力，将靠小规模精锐团队结合 AI 辅助来做实验取舍。该消息被日经新闻报道。
本日のSakana AIのシンポジウムは、おかげさまで満員となりました。足を運んでくださった皆さま、本当にありがとうございました！🐟
ユルゲン・シュミットフーバー教授の基調講演や対談を含め、イベントの模様は後日あらためてご報告します。
当日は CEO の David Ha から、AI主権にとって重要となる Sakana AIの取り組みの「3つの柱」についてお話ししました。
・Pre-training：次世代の事前学習モデルの開発にAIエージェントを活用する ・Post-training：日本語やビジネスシーンにLLMを適応させる事後学習技術（Sakana Namazu） ・Orchestration：最先端の性能を、単一のAIモデルに依存せずに実現するオーケストレーション技術（Sakana Fugu）
続いてチーフサイエンティストの秋葉拓哉から、事前学習の取り組みである「Sakana Sawara（仮称）」プロジェクトと、その意義についてお話ししました。
Sakana AIはこれまで、LLMを最大限に活用する「エージェントの層」での技術革新を強みの一つとしてきました。しかしいま、「モデルの層」が再び重要になっています。オープンモデルと最先端モデルとの差は縮まり、モデルを作るコストは下がり、さらに強化学習によって自社のタスクやツールに合わせて特化させることもできる。こうした状況を踏まえ、モデル作りに改めて取り組むべき時期が来たと考えています。
事前学習のボトルネックは、相変わらず計算機の量にあります。その限られた計算資源をどこに投じるか。モデル開発の進展は、どんな実験をどの順で行い、どのアイデアを捨てるかという判断の精度に大きく左右されるようになりました。秋葉からは、こうした開発を、AIの力も駆使しながら少数精鋭のチームで手がけていくアプローチについてお話ししました。
この発表は、日経新聞でも取り上げていただきました。 https://t.co/D2gOX7xt3c 🐟
