主要来源arXiv cs.AI
查看原文事件专题 ·多源确认
MarineSparkLM-4B:基于 LoRA 适配的海洋工程轻量模型
研究团队以 40 亿参数的 OceanGPT-basic-4B-Instruct 为基座,在单台 NVIDIA DGX Spark 上通过 LoRA 适配训练出海洋工程领域模型 MarineSparkLM-4B。每个适配器仅更新 4.06 亿参数中的 3300 万(0.81%),第一个适配器用 4 小时 40 分钟、第二个仅用 10 分钟完成训练。 第一个适配器在 6160 万 token 的语料上做 next-token prediction,语料来自 13879 篇源文档,经去重和两级关键词过滤后保留 7069 篇,验证损失从 2.082 降到 1.976。由于测试发现该适配器在检索增强的压载水问答提示下仍会偏题,团队又用 2295 个问答对训练了第二个指令适配器,且损失只计算答案 token。 在 20 个保留提示、满分 120 分的人工评测中,基座模型、续训适配器、指令适配器、指令适配器加检索分别得 42、56、84、88 分。绝对准确率仍然偏低:无检索时 40 题对 14 题,有检索时对 20 题。论文还公开了完整流程和两个负结果,包括一次 100 步内过拟合的指令训练。
当前结论
这篇论文把训练过程写得很透明:一台 DGX Spark、两块 LoRA、十来个小时就做出领域模型,还公布了两条失败路线。做垂直领域微调的工程师能直接抄它的数据清洗和评测方法,也能看到检索增强带来的实际提升幅度。
11 个信源31° AI 热度最后更新 2026/11/14 04:24:20
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。