#LLM

斯坦福团队做了个 StudentBench，拿 2383 人测 AI 教 GRE，效果跟人类导师打平，价格便宜 918 倍，数学部分回得越快学生学得越好。

一个新的代码执行推理基准，480 道题来自真实仓库的测试执行，最强模型才 37 分，看看你常用的模型到底会不会“跑”代码。

8 个商用 LLM 当购物代理，一旦要花钱查信息就学人类贪便宜，研究提示词写法能救回来，做电商的都该看看。

多机器人协作的新玩法：COMPASS 让一群机器人自己本地算反馈，最多能带 1024 台一起飞，比集中式 LLM 策略稳不少。

这个叫 PASTABench 的新基准测了 16 个大模型给智能体踩刹车的时机，最好的也只拿到 40.74%，还拆穿了不少小模型靠关键词得分。

想做 AI 出题自动质检的可以看看：论文实测了 LLM、BERT、传统 ML 在布鲁姆分类上的 OOD 表现，LLM 拿到 0.79 的 F1，还给了几个低成本补救手段。

一篇来自 arXiv 的新方法，把记忆机制塞进文本生成，同样的算力下 LiveCodeBench 准确率从 59.9% 提到 66.2%，还能快 3 倍。

Paul Graham 给 CS 学生指了条路：做 LLM 或者贴着客户用 AI，两端都行，想法挺实在。

Paul Graham@paulg原文

一篇打脸编译率的论文：64% 编译失败根本不怪模型，改个编译选项编译率就差 2 倍多，做代码修复评估的都该看看。

安全圈值得看：这篇论文把 GenAI 里各家混乱的 policy 执行方案拆开对比，还给了统一分析框架。

35 篇交通+LLM 的论文里只有一篇做过漏洞评估，想搞车联网 AI 的工程师可以看看这篇综述

一份新出的合规评测基准 EADC，用知识图谱加法律专家标注做出 4400 多条 QA，专测模型会不会踩法律红线，做合规的对口。

ontology 工程师可以看看这个新基准，测了 9 个 LLM 从 competency questions 生成本体的能力，连失败模式都拆得很细。

有人把 55 年音乐节阵容数据做成时序知识图谱，拿来预测未来阵容，还和大模型零样本对比了一波。

担心发去 API 的内容被还原的话看看这篇，把输入语义整个换掉再让 LLM 推理，重构不回来还不掉点。

选模型前别光看榜单分数，这篇论文把通用排行的坑掰开讲了五种，还给了个众包评测的路子。

arXiv 论文把"安全闸门能否过认证"变成动态规划问题，还能算校准数据怎么分，做部署的可翻翻。

想了解AI如何模拟社交行为，这篇论文用两个小模型做了实验，看看微调人格标签数据能不能让对话更自然。

这篇论文挺有意思的，专门研究大模型如何理解中文网络热词，比如“yyds”这种，还做了个专门的基准测试，对做跨语言AI或者安全相关的研究应该挺有参考价值。

Gary Marcus 发推澄清，他之前的研究并未证明大语言模型（LLM）能感受痛苦。该研究主要关注模型内部动态和行为模式，而非情感体验。许多“AI 影响者”过度解读了研究结果。

Gary Marcus@GaryMarcus原文

Pearl老师的新书要出了，专门讲因果推断，还提到了LLM时代，对想了解AI底层逻辑的人挺有用的。

Gary Marcus@GaryMarcus原文