图表智能分析：优化图表概述的上下文思维方法

Mar, 2024

图表智能分析：优化图表概述的上下文思维方法

ChartThinker: A Contextual Chain-of-Thought Approach to Optimized Chart Summarization

Mengsha Liu, Daoyuan Chen, Yaliang Li, Guian Fang, Ying Shen

TL;DR数据可视化是呈现数据和挖掘其有价值洞见的关键手段。通过自然语言处理技术，图表总结任务促进了对图表的深入数据分析。本研究构建了一个大规模的全面图表 - 标题数据集，提供了每个图表的微调指导，以解决现有方法在视觉 - 语言匹配和推理能力方面存在的明显不足。基于这个数据集的广泛覆盖范围，可以实现更好的训练数据视角匹配度。此外，我们提出了一种创新的图表总结方法 ChartThinker，它基于思维链和上下文检索策略合成了深层分析，旨在提高生成摘要的逻辑连贯性和准确性。在精心策划的数据集基础上，我们训练的模型在图表总结任务中始终表现出优越性能，在 7 个评估指标上超过了 8 种最先进的模型。我们的数据集和代码可公开访问。

Abstract

data visualization serves as a critical means for presenting data and mining its valuable insights. The task of chart summarization, through natural language processing techniques, facilitates in-depth data analy

data visualization chart summarization natural language processing dataset chart captions

发现论文，激发创造

Chart-to-Text: 一项大规模图表摘要的基准测试

本研究的 Chart-to-text 数据集为基础，使用图像字幕和数据转换技术探索了从图表到文本的自然语言概括方法以及相应的神经网络模型，研究结果表明此方法对复杂模式和趋势的描述存在困难。

Mar, 2022

ChartSumm: 长短汇总自动图表概括的综合基准

本文介绍了 ChartSumm 数据集，它是一个大规模的基准数据集，由 84,363 个图表及其元数据和描述组成，涵盖了各种主题和图表类型。该数据集可用于生成短和长的摘要，用以提供给视障人士以及为其他数据驱动模型的训练提供基础。通过使用 ChartSumm 数据集进行大量实验，发现仍有调查的空间，如资料遗漏，产生幻觉，以及对图表中复杂趋势的不恰当解释。作者研究了扩展 ChartSumm 数据集以适用于其他语言的潜力，这使我们的数据集成为未来研究的有挑战性的基准。

Apr, 2023

图表转文本：基于 Transformer 模型的自然语言描述生成

本论文提出了一种基于神经网络的模型来自动生成数据可视化的自然语言摘要，使得即使视力受损的用户也能够获取数据可视化的重要见解。

Oct, 2020

AltChart: 多预训练任务提升基于 VLM 的图表摘要

图表概括对于盲人和视障人士来说是一项至关重要的任务，因为它是他们获取和解释图形数据的主要手段。本研究提出了三个关键贡献：引入了 AltChart 数据集，提出了一个新的预训练视觉语言模型的方法，以及对四种主流图表概括模型进行了全面评估。

May, 2024

通过跨模态学习增强科学图像标题

本文提出了一种新的科学图表标题生成方法，通过自然语言处理、机器学习和多模态技术，从图表中提取关键信息并生成准确简洁的标题，以提高研究数据的清晰度和可访问性。

Jun, 2024

ChartQA: 针对图表的问题回答的视觉和逻辑推理基准

本文提出了一个大规模基准测试，包括 9.6K 个人为编写的问题和 23.1K 个由人类编写的图表摘要生成的问题，并运用两种基于 Transformer 的模型来回答问题，这些模型将图表的视觉特征和数据表统一起来处理来解决目标检测中的视觉和逻辑推理等问题。

Mar, 2022

让图表生辉：使用文本 - 图像生成模型将语义上下文嵌入图表

ChartSpark 是一个新型系统，它基于文本到图像生成模型将语义内容嵌入图表中，以此生成有关文本输入和嵌入式数据信息的图片可视化图表，并设计了一个交互式可视化界面，它包括文本分析器、编辑模块和评估模块，用户可以使用该界面生成、修改和评估图片可视化图表。

Apr, 2023

OpenCQA：利用图表进行开放式问答

此研究介绍了一种名为 OpenCQA 的新任务，即使用描述性文本回答有关图表的开放式问题，并展示了数据集的注释过程和深入分析。研究一共实现和评估了三种模型，并发现效果最优的模型能够生成流畅一致的文本，但仍然存在逻辑和算术方面的问题。

Oct, 2022

ChaTS-Pi 信念图表概述

我们提出了 CHATS-CRITIC，一个无需参考的图表摘要评分指标，它由一个图像到文本模型和一个表格蕴含模型组成，能够更好地评估总结质量并用于修正候选总结。我们还介绍了 CHATS-PI，一个利用 CHATS-CRITIC 的图表到摘要的流程，能够在推理过程中修正和排名候选总结，从而在人类评委的评估中取得了最新的成果。

May, 2024

利用大型语言模型进行元素感知式摘要：专家对齐评估和思路链方法

研究发现 CNN / DailyMail 和 BBC XSum 数据集的参考摘要存在噪音，因为这些摘要主要存在于事实幻觉和信息冗余方面。为了解决这个问题，他们提出了 “Summary Chain-of-Thought（SumCoT）” 技术，通过逐步摘要的方式生成细粒度的摘要。利用新的测试集，研究人员观察到 LLM 具有惊人的零 - shot 摘要能力，该技术旨在使他们将更细粒度的细节集成到与人类写作方式相关的最终摘要中。实验结果表明，该方法在两个数据集上的 ROUGE-L 优于现有技术。

May, 2023