AWS 团队招聘 2027 年夏季实习生，覆盖预训练、中期训练与后期训练
AWS 模型训练团队在招 2027 年暑期实习生，预训练、中期训练、对齐都能接触，岗位覆盖全流程比较少见。想做大模型训练方向的学生可以私信联系，提前两年开放申请，值得留意。
#大模型训练
共 14 条 · 7 天 1 条 · 30 天 2 条
信息流里打上「大模型训练」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月11日
10月18日
我国首个全国产十万卡 AI 超集群真机亮相，曙光 8000 走超算智算融合路线
中科曙光的曙光 8000 首次公开展出真机，十万卡互联，一套底座同时跑科学计算和大模型，跟单独建超算或智算中心的思路不一样。
IT之家原文
10月1日
AllenAI发布Olmo-core 3大模型训练基础设施
AllenAI开源了Olmo-core 3，让更多人能训练大模型，比之前的版本更强大更灵活。
9月22日
阿里发布Zhenwu V900 AI芯片
阿里新发布的Zhenwu V900芯片能支持50万颗集群，专为训练超大规模AI模型设计。
9月18日
华为灵衢昇腾 950 智算集群云服务计划 9 月 30 日国内商用、11 月 30 日全球商用
华为发布了灵衢昇腾 950 智算集群云服务，9 月 30 日国内商用，11 月 30 日全球商用，能支撑超大型千亿级大模型训练，和昇腾 960 芯片性能翻番的消息一起值得关注。
IT之家原文
联邦学习结合分片数据并行加速大模型训练
这是篇挺有意思的技术论文，作者把联邦学习的思想用在了大模型训练上，在 512 块 A100 上跑 Llama3.1 8B 时，数据吞吐量提升了 8.04 倍，挺厉害的。
9月15日
9月7日
优化层稀疏性提升大模型训练效率
研究人员发现层丢弃技术能提升大模型训练效率，节省25%计算量，还能加速推理1.5倍。
6月24日
产品20:00
中科曙光ParaStor F9000包揽IO500双榜冠军，刷新全球存储性能纪录中科曙光的ParaStor F9000在IO500上拿了两个第一，存储性能全球领先，还搞定了414.7亿原子模拟，比之前的290亿原子纪录高出不少。
IT之家原文
6月18日
6月2日
顾全全离开字节 Seed：AI 药物发现与 LLM Scaling 双线突破
顾全全的离开是字节 Seed 的重大人才变动，关注 AI 药物发现或大模型训练的从业者，值得了解他过去三年的核心成果——SeedFold 和 SeedProteo 直接对标 AlphaFold 3 等顶级模型，做生物计算或 LLM 预训练的团队建议点开看看。
5月21日
NVIDIA与SpaceXAI合作训练更大模型，算力提升10倍
算力提升10倍意味着模型能力可能迎来质变，关注大模型训练的开发者可以了解这一合作的技术路径和潜在影响。
5月19日
Cursor 与 SpaceXAI 合作训练更大模型，算力提升 10 倍
AI 编程工具正在从“辅助”走向“自主”，Cursor 这次联手 SpaceXAI 把算力堆到 10 倍，做 AI 编程或模型训练的开发者值得关注——这可能是下一代编程助手的雏形。
5月18日
Asteria：运行时编排二阶优化，让大模型训练更高效
Asteria 让二阶优化从理论走向实用，做大模型训练的团队可以大幅降低显存压力，同时保持收敛速度优势，值得关注其开源进展。