arXiv 论文提出 isloss：检测 LLM API 转换中对话信息丢失的确定性测试方法

arXiv 论文 2611.15543v1 提出 isloss，一个用于测试 LLM API 对话信息保留的确定性 oracle。它将源请求与翻译后的请求、回复映射到共享中间表示 ConvIR，再用显式规则区分合法的表示变化与信息丢失，无需参考翻译，也无需额外模型调用。 评估采用基于规范的故障注入、人工审查以及对翻译器、网关和客户端库的实验：在留出测试集上检测出 125 个植入故障中的 95 个（76.0%），误报为 100 次中的 2 次（2.0%）。对五个翻译器代码库六种配置的合成请求套件测试发现，685 个完成翻译中有 127 个（18.5%）通过了目标 API 的静态校验，却在静默改变 prompt、角色或工具信息，而这些信息目标 API 本可保留。回复翻译中，558 个流里有 203 个（36.4%）在至少一个官方 OpenAI SDK 中引发异常或静默损坏。 针对六个模型的实验表明，当任务依赖受影响信息时，翻译引起的变化会改变模型行为。论文将对话信息保留确立为 LLM 互操作、智能体执行与模型评估之外的一项独立正确性要求。