Apr, 2023

ChartSumm: 长短汇总自动图表概括的综合基准

PDF
TL;DR本文介绍了 ChartSumm 数据集，它是一个大规模的基准数据集，由 84,363 个图表及其元数据和描述组成，涵盖了各种主题和图表类型。该数据集可用于生成短和长的摘要，用以提供给视障人士以及为其他数据驱动模型的训练提供基础。通过使用 ChartSumm 数据集进行大量实验，发现仍有调查的空间，如资料遗漏，产生幻觉，以及对图表中复杂趋势的不恰当解释。作者研究了扩展 ChartSumm 数据集以适用于其他语言的潜力，这使我们的数据集成为未来研究的有挑战性的基准。
chart to text summarizationvisually impaired peoplechartsumm datasetautomatic evaluation metricsautomated translation tools
发现论文，激发创造
  • Chart-to-Text: 一项大规模图表摘要的基准测试

    本研究的 Chart-to-text 数据集为基础，使用图像字幕和数据转换技术探索了从图表到文本的自然语言概括方法以及相应的神经网络模型，研究结果表明此方法对复杂模式和趋势的描述存在困难。

    Mar, 2022

  • 长文本和多表总结：数据集和方法

    旨在创造简明摘要以涵盖输入文档的要点信息。自动文档摘要对文本和非文本内容进行了讨论，提出了涵盖定量描述的关键指标的表格数据的重要性，提出了一个大规模数据集和三种摘要方法，还评估了评估指标

    Feb, 2023

  • 图表智能分析：优化图表概述的上下文思维方法

    数据可视化是呈现数据和挖掘其有价值洞见的关键手段。通过自然语言处理技术，图表总结任务促进了对图表的深入数据分析。本研究构建了一个大规模的全面图表 - 标题数据集，提供了每个图表的微调指导，以解决现有方法在视觉 - 语言匹配和推理能力方面存在的明显不足。基于这个数据集的广泛覆盖范围，可以实现更好的训练数据视角匹配度。此外，我们提出了一种创新的图表总结方法 ChartThinker，它基于思维链和上下文检索策略合成了深层分析，旨在提高生成摘要的逻辑连贯性和准确性。在精心策划的数据集基础上，我们训练的模型在图表总结任务中始终表现出优越性能，在 7 个评估指标上超过了 8 种最先进的模型。我们的数据集和代码可公开访问。

    Mar, 2024

  • AltChart: 多预训练任务提升基于 VLM 的图表摘要

    图表概括对于盲人和视障人士来说是一项至关重要的任务，因为它是他们获取和解释图形数据的主要手段。本研究提出了三个关键贡献：引入了 AltChart 数据集，提出了一个新的预训练视觉语言模型的方法，以及对四种主流图表概括模型进行了全面评估。

    May, 2024

  • 长文档摘要的实证调查：数据集、模型和度量

    本综述论文系统性地评估了长文档自动摘要各主要组成部分的研究进展，包括基准数据集、摘要模型和评估方法，并提出未来工作的方向。

    Jul, 2022

  • QTSumm：面向查询的表格摘要新基准

    本研究定义了一个新的针对查询的表格摘要任务，并提出了一个新的名为 QTSumm 的基准测试，其中包含 5625 个在各种主题的 2437 个表格上人工注释的查询摘要对。实验结果和手动分析表明，我们的基准测试为未来的表格到文本生成研究提供了重要挑战和发展机会。

    May, 2023

  • BookSum：用于长篇叙述摘要的数据集合集

    本研究介绍了一种新的包含长型叙述文本的数据集 BookSum。这个数据集覆盖了文学领域的原始文件，并包含三种难度递增的高度抽象的人工撰写的摘要，涵盖段落、章节和整本书的水平。通过该任务的训练和测试，本研究基于此数据集建立了多个抽取和摘要式自动文摘模型。

    May, 2021

  • ChaTS-Pi 信念图表概述

    我们提出了 CHATS-CRITIC，一个无需参考的图表摘要评分指标，它由一个图像到文本模型和一个表格蕴含模型组成，能够更好地评估总结质量并用于修正候选总结。我们还介绍了 CHATS-PI，一个利用 CHATS-CRITIC 的图表到摘要的流程，能够在推理过程中修正和排名候选总结，从而在人类评委的评估中取得了最新的成果。

    May, 2024

  • SummEval: 重评摘要评估

    本文针对现有的缺陷和问题，提出了五个维度的解决方案，从而能够扩大文本摘要的评估标准，并且进一步研究出与人类判断更加相关的评价指标。

    Jul, 2020

  • 图形元素摘要

    自动文本摘要在近年来取得了实质性的进展。Ter Hoeve 等认为自动摘要生成的类型与用户需求不符，推荐增加更多图形元素。基于这个任务，我们提出了摘要与图形元素结合的新任务，并验证这些摘要对大众有助益。我们收集了一个高质量的人工标注数据集，提供基线模型表明该任务是有趣和具有挑战性的。希望这项工作能够在自动摘要社区中引起新的研究线路。

    Apr, 2022