Jun, 2024

这是一个糟糕的表格吗？从文本生成表格的评估再探讨

PDF
TL;DR通过 TabEval 方法，通过将表格转化为自然语言原子语句并使用蕴含度量对比真实语句，我们提出了一种新的表格评估策略，以捕捉表格的语义信息，并与现有方法进行比较，展示了其在人工判断表格质量方面具有更强的相关性。
table quality evaluationtabevalsemantic understandingentailment-based measurestext-to-table generation
发现论文，激发创造
  • TabFact：一个用于基于表格的事实验证的大规模数据集

    本文介绍 TabFact 数据集，其中包含 118k 人工标注的自然语言陈述，并以 16k 个 Wikipedia 表格作为证据，同时介绍了 Table-BERT 和 LPA，这两种算法都能在半结构化数据情况下进行事实验证，都有优点和不足之处，但是都能被进一步开发优化。

    Sep, 2019

  • 改进文本到 SQL 评估方法

    为了评估系统在现实世界中未见数据上的泛化能力，本文首先比较了人工生成和自动生成的问题，提出了当前 Text-to-SQL 系统评估的局限性和改进方法。其次，我们展示了现有数据集分为训练集和测试集的方法只能部分测试系统对新查询的泛化能力，因此提出了评估未来工作的补充数据集划分。最后，我们展示了在评估时变量的匿名会去除该任务的一个重要挑战。我们的观察强调了关键困难，并启发未来研究的有效衡量方法。

    Jun, 2018

  • CT-Eval: 大型语言模型中中国文本到表格性能的基准评估

    通过构建一个中文文本到表格的数据集 CT-Eval，并利用该数据集评估开源和闭源的大型语言模型 (包括 GPT-4) 的性能，研究结果显示零翻译大型语言模型仍然与人类判断存在明显的性能差距，但经过微调后，开源的大型语言模型的文本到表格能力可以显著提高，超过了 GPT-4 很大的程度。这表明 CT-Eval 不仅可以帮助研究人员评估和快速了解现有大型语言模型的中文文本到表格能力，还可作为极大提升大型语言模型文本到表格性能的宝贵资源。

    May, 2024

  • 表格转文本：用自然语言描述表格区域

    本文提出了一种生成模型，它将一行从表中映射到一个连续向量，然后通过利用表的语义生成一个自然语言句子，还提出了一种灵活的复制机制以处理表中出现的罕见单词，并在两个综合数据集上取得了较高 BLEU-4 分数，其中一个数据集包含 13,318 个解释句子和 4,962 个表格。

    May, 2018

  • Text2Analysis: 具有高级数据分析和不明确查询的表格问答基准

    通过开发 Text2Analysis 基准和创新的注释方法，我们展示了在表格数据分析领域中大规模语言模型的潜力，以推动进一步的研究机会。

    Dec, 2023

  • QTSumm：面向查询的表格摘要新基准

    本研究定义了一个新的针对查询的表格摘要任务，并提出了一个新的名为 QTSumm 的基准测试，其中包含 5625 个在各种主题的 2437 个表格上人工注释的查询摘要对。实验结果和手动分析表明，我们的基准测试为未来的表格到文本生成研究提供了重要挑战和发展机会。

    May, 2023

  • 使用中间预训练理解表格

    通过数据增强方法，我们将 TAPAS 模型应用于表格蕴含和顺序表格问答任务，在采用表格剪枝技术的前提下，取得了 TabFact 和 SQA 数据集上的最新成果。

    Oct, 2020

  • 对话式搜索中表格数据的总结和探索

    本文提出一种基于自然语言摘要的表格信息检索方法，并利用一个新的以对话为导向、面向开放领域的表格摘要数据集来构建 SOTA 基线系统，并指出了未来研究方向和挑战。

    May, 2020

  • 事实与感受：在表格转文本生成中捕捉客观性和主观性

    通过对线性化表格进行序列到序列模型的微调和在流行的大型语言模型上进行提示，我们分析了从定量和定性的角度来确保捕捉主观性和事实的一致性的结果，显示出微调的 LMs 可以接近提示的 LLMs。根据我们的了解，我们提供了一种多类型和包含主观性的表格数据集，并对不同的 LLM 性能进行了首次全面的分析和比较。

    Jun, 2024

  • 基于内容的 Web 查询表格检索

    本研究旨在解决自然语言处理中未结构化文本与半结构化表之间的关系问题，通过提出基于内容的表的检索方法，应用精心设计的特征和神经网络结构实现查找中最相关表格的目标，并发布了一个包含 21,113 个网络查询和 273,816 个表格的开放领域数据集，验证了该方法的有效性并提出了该任务的挑战。

    Jun, 2017