Jul, 2023

TabR: 发掘检索辅助的表格深度学习的能力

PDF
TL;DR通过逐步增加一个与诸多表格检索模型类似的注意力检索组件，TabR 模型在一组公开基准测试中表现出最佳平均性能，成为几个数据集上的最新技术标准，甚至在最近提出的 “GBDT 友好” 基准测试中超越了 GBDT 模型。
deep learningtabular datagradient-boosted decision treesretrieval-based modelstabr
发现论文，激发创造
  • 优化检索机制的表格深度学习微调

    通过融合检索机制、预训练和迁移学习方案，可以显著提升表格深度学习领域的性能。

    Nov, 2023

  • 将表格数据上的参数异常检测重新变为非参数化

    使用检索增强模型进行表格数据的异常检测，通过选择相关样本来帮助目标样本的重建过程，以非参数关系提高性能。

    Jan, 2024

  • 关系学习中的全面关注提升

    基于树模型的注意机制结合与 (tabular data) 表格数据在 (gradient boosting) 梯度提升训练环境中学习，被证明在多个领域与包含树模型和神经网络模型的现有技术相比具有竞争力。

    Feb, 2024

  • 检索式变压器用于表格增强

    本文提出了一种基于自学习的检索增强型 Transformer 模型，其用于自动数据整理以减轻数据分析师的工作量，实现适用于动态数据视图的表格数据的结构化与数据补全，数据的预处理是实现分析或构建机器学习模型时最昂贵和耗时的步骤之一。

    Jun, 2023

  • OpenTab: 推进作为开放域表格推理器的大型语言模型

    提出了 OpenTab，一个开放域表格推理框架，利用大型语言模型（LLMs）通过表格检索器获取相关表格，并生成 SQL 程序来高效解析检索到的表格，从而实现了准确的响应，实验证明 OpenTab 在开放和封闭领域的设置中显著优于基线方法，达到了高达 21.5% 的更高准确性。

    Feb, 2024

  • 超越提取：通过语言模型对表格数据进行上下文化总结

    通过存储 PDF 文档和单独提取表格内容，使用 Llama-2-chat 语言模型进行汇总，并通过 ChatGPT 3.5 API 增强表格数据的上下文意义，该研究提出了一种创新方法，以显著提高 Retrieval-Augmented Generation 中复杂表格查询的准确性，为信息检索中长期存在的挑战提供了有希望的解决方案。

    Jan, 2024

  • 重访针对表格数据的深度学习模型

    本研究对表格数据的深度学习架构进行概述，提出了两种简单而强大的基准深度架构，并发现 Transformer 架构对于表格数据的性能最优。

    Jun, 2021

  • 检索与微调的上下文表格模型

    基于表格数据的局部校准 PFN 模型，在 TabZilla 的 95 个数据集上，提供了改进的性能，从而展示了我们方法对于深度学习在表格数据中的前沿研究所取得的有效性。

    Jun, 2024

  • 深度学习在表格数据上的研究

    通过一个全面的基准测试，本文研究了深度表格方法和基于树的方法在各种任务类型、大小分布和领域中的性能排名以及影响深度表格方法成功的关键因素，并提取了对预测准确性起决定性作用的元特征。这些研究将进一步促进表格数据的研究。

    Jul, 2024

  • 表格检索可能不需要特定于表格的模型设计

    本研究旨在探究是否需要使用特别设计的表格型模型进行表格信息检索，结果表明在大部分情况下使用基于文本的模型，如 Dense Passage Retriever (DPR) 即可达到相似或更优秀的结果，无需特别设计。通过实验，辅助行 / 列嵌入、硬性注意力蒙版和软关系注意力偏差等三个模块也未能产生显著提高效果，表明使用特别设计的模型并非必要。

    May, 2022