表格数据指以行列结构组织的结构化数据,广泛存在于金融、医疗、电商等领域,一直是机器学习中应用最广但与图像、文本相比技术演进相对缓慢的数据形态。近年来,随着大语言模型向结构化数据渗透,围绕表格数据的基础模型、生成模型和特征工程方法正在成为新的研究热点。
表格数据基础模型的竞争
企业与研究机构的投入明显加速。Amazon 发布了表格基础模型 Mitra-v2,并在权威基准 TabArena 上登顶,表明预训练式表格模型正从学术探索走向工业级落地。国内方面,小米开源了表格数据大模型 Xiaomi-TabLDM,为社区提供了可复用的方案。这类模型的核心卖点是在无需针对每个数据集从头训练的情况下,获得接近甚至超过传统梯度提升树的效果。
生成与异常检测的细化方向
LLM 与特征工程的结合
大语言模型在表格数据任务中的角色也在被系统检验。LLM 何时能帮上特征选择?一项系统性实证研究以实证方式界定了 LLM 在特征选择上的有效边界,而 SymboLLM-FE结合符号回归与LLM优化表格特征工程则尝试把符号回归与 LLM 组合起来自动化特征构造。同时,Transformer注意力头在表格数据学习中的重要性评分从可解释性角度分析注意力机制在表格任务中的作用。
当前焦点与观察点
目前表格数据领域的争议核心在于:预训练基础模型能否真正取代 XGBoost、LightGBM 等梯度提升树在小到中等规模数据上的统治地位。观察点主要有三个:一是 TabArena 等基准上的后续排名变化;二是开源模型(如 Xiaomi-TabLDM)与闭源工业模型的性能差距走向;三是 LLM 辅助特征工程从论文走向生产工具的落地速度。对于企业用户而言,短期内混合方案——树模型为主、基础模型与 LLM 工具为辅——仍是最稳妥的选择。