论文

研究显示病理学基础模型受益于几何测试时增强的程度有限

When Do Histology Foundation Models Need Geometric Test-Time Augmentation?

精选理由

做病理图像分析的工程师该看看。论文测了 9 个病理基础模型加 6 个通用模型,结论是自监督大模型旋转不变性强,D4 增强收益从 +1.98pp 掉到 +0.50pp,还给了只跑 13% 样本的熵路由方案,能省推理算力。

一篇 arXiv 论文评估了 D4 测试时增强(TTA,即对输入做 8 种旋转与翻转并聚合预测)在病理图像上的实际价值。研究覆盖 9 个病理学基础模型(FMs)和 6 个通用视觉模型,在 4 个 patch 级与 2 个全切片图像(WSI)数据集上做了基准测试。结果显示 D4 TTA 仍是可靠的后处理手段,但收益随模型变化明显:在 TCGA-UT 上通用骨干网获得 +1.98 个百分点的提升,而病理学基础模型只有 +0.50 个百分点,最大规模的模型收益进一步缩水,原因是自监督预训练带来的旋转不变性削弱了对增强的需求。

正文

为降低推理开销,作者提出熵路由策略:只对预测熵较高(不确定)的样本施加 TTA,仅处理约 13% 的样本即可收回大部分收益。另一项发现是 patch 级 TTA 的提升无法迁移到基于多实例学习(MIL)的切片级分类,限制了其在全切片任务中的价值。

对计算病理学从业者而言,这项工作给出了一个实用判断依据:使用小型通用模型时 D4 TTA 依然划算,而使用大型病理学基础模型时应评估开销与收益的比值,或改用熵路由选择性增强。论文代码已在 GitHub 开源。

原文 · arXiv cs.LG

When Do Histology Foundation Models Need Geometric Test-Time Augmentation?

Test-time augmentation (TTA) aggregates model predictions across multiple transformed views of an input during inference. Because histology images lack a canonical orientation, $D_4$ TTA---pooling across the 8 rotations and reflections of a square---is a standard default in computational pathology. However, the rise of self-supervised histology foundation models (FMs) with inherent rotational invariance calls its continued utility into question. We benchmark 9 histology FMs and 6 general-purpose models across four patch-level and two whole-slide image (WSI) datasets. We find that $D_4$ TTA remains a reliable post hoc improvement, but benefits diminish from $+1.98$ percentage points (pp) for general-purpose backbones to $+0.50$ pp for histology FMs on TCGA-UT, and shrink further for the largest models. To eliminate computational overhead, our experiments demonstrate that entropy routing---applying TTA selectively to uncertain predictions---recovers most of the gain while augmenting only ${\sim}13\%$ of samples. Finally, we show that patch-level TTA improvements do not transfer to slide-level multiple instance learning (MIL). Code: https://github.com/lars-chen/histology-tta

产业坐标与信源核验

本条情报归属 AITOP「论文」核心追踪栏目。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:histology、测试时增强、基础模型、计算病理学,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「arXiv cs.LG」(@Lars Chen, Valentino F. Foit, Dorry Segev, Michal Mankowski),经 AITOP 多维评分管线结构化提炼。