339M 参数的小模型,用一个 epoch 的合成问答对微调,哈萨克语检索 recall@1 从 60.8% 拉到 78.0%,还压过 OpenAI text-embedding-3-large。做低资源语言检索或想复刻这套合成数据微调流程的工程师都该看看细节。
#低资源语言
做阿拉伯语教育 NLP 的可以看看,999 条科学实验加 2167 道选择题,还附了 10 个开源模型的 LoRA 微调评测结果,即将开源。
巴斯克语也能做语音对话了,用 Latxa 加合成数据就搞定,做小语种语音模型可以参考这套做法。
Rest of World 梳理了 Meta 和 OpenAI 智能体进入发展中国家会撞上的现实问题:网不稳、小语种支持弱,聊这个话题的可以看看。
OpenAI 把模型往 COBOL、Fortran 这些老语言上打磨了,银行和政府的旧系统迁移可能真能省不少事,搞企业级开发的朋友可以看看。
一篇做语音识别公平性评估的数据集论文,专门针对 Bemba 和 Nyanja 这两种缺数据的非洲语言,做 ASR 偏见检测的可以看看。
一家小团队花 1.33 万美元从零训了个泰米尔语小模型,8 张 H100 六天搞定,还开源了权重和训练细节,低资源语言玩家可以抄作业。
只有 1K 平行句对也能用回翻译把低资源语言翻译提上去,比继续预训练好不少,做小语种翻译的可以看看这篇论文。
Apple 这篇论文挺有意思:低资源语言训练别死磕权重衰减这类超参数,混点高资源语言数据进来效果更好,做小语种模型的话值得看看方法细节。
孟加拉语这种低资源语言上,Llama 4 Maverick 不微调就拿下 0.931 的 F1,比 BanglaBERT+XGBoost 还高,做低资源语言分类的可以看看。
同一个 Whisper Medium,换个数据集微调就把 Telugu 错误率从 92.7% 干到 16.1%,还故意保留噪声做分层,思路很值得学。
加纳团队用 Qwen3-ASR-0.6B 给三种本地语言做语音识别,Ewe 错误率砍掉近一半,还上线了健康问答应用 KasaHealth,低资源语言落地的完整参考。
论文揭示SFT和RL如何让模型真正用低资源语言思考,而非表面准确率提升,还发布了五个实用检查点。
这篇论文很实在,直接指出LLM-as-a-Judge在多语言场景下不靠谱,只找出33篇相关研究还一堆问题。做NLP评估的朋友建议看看。
低资源语言NLP开发者终于有了可本地部署的高效嵌入方案——e5-sk系列在体积缩减62%后仍能匹敌商业API,做斯洛伐克语语义搜索或RAG的团队可以直接用开源模型替代付费服务。
低资源语言ASR团队终于有了可落地的数据增强方案——用LLM+TTS生成对话数据,效果堪比数倍真实数据。做多说话人语音识别的开发者值得一试,尤其适合匈牙利语等小语种场景。
这是首个为巴尔蒂语打造的ASR系统,解决了低资源语言语音识别的空白,做多语言语音技术或濒危语言保护的团队可以直接用这个开源模型和语料库。
做低资源语言NLP或文化敏感对话系统的团队,这个数据集直接解决了敬语对齐的痛点,可以拿来微调自己的模型试试。
安全团队和LLM开发者需要警惕:多语言安全漏洞远未被堵住,低资源语言成为新的攻击面。建议立即检查自家模型的多轮对话安全机制。
这项研究打破了多语言模型必须靠大参数量才能取得好效果的固有认知,做低资源语言 NLP 的团队可以直接参考其方法,用更小的成本覆盖更多语言。
低资源语言处理是 NLP 的硬骨头,WARDEN 用两阶段设计+跨语言迁移+词典增强给出了可行方案,做低资源 ASR/NMT 的研究者可以直接参考其技术路线。
做多语言文档理解或 OCR 的团队终于有了一个覆盖 82 种语言的高质量基准和训练框架,低资源语言场景可以直接用 DPO 方法提升效果,建议点开看具体实现。