事件专题 ·多源确认

五款 7B-8B 开源模型土耳其语文档问答评测:本地 6GB 显卡跑出 49%-75% 准确率

一篇 arXiv 论文评测了五款 7B-8B 开源模型在土耳其语领域文档问答上的表现。主基准基于 109 页工业研发报告构建 100 道验证题,再用 112 页公共部门报告和独立 100 题集复现,全部在 6GB 显存的 NVIDIA RTX 3050 笔记本 GPU 上以 4-bit 量化本地运行。端到端准确率在 49% 到 75% 之间,评估协议通过证据标注把检索失败与模型推理失败分开。七种词法、稠密和混合检索配置经 McNemar 检验后,均未显著超过字符 TF-IDF 基线。

当前结论

有人在 6GB 显存的笔记本上,用土耳其语 109 页报告实测了五款 7B-8B 开源模型,还顺手证明花哨检索方案打不过 TF-IDF,做 RAG 的可以看看。

4 个信源41° AI 热度最后更新 2026/9/23 12:33:57

证据链

4 个信源
相关来源 3Clement Delangue
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。