May, 2024

ChartFormer: 将图表图像转换为触觉可访问的 SVG 的大型视觉语言模型

PDF
TL;DR通过图表分析，将光栅图像转换为触觉可访问的 SVG，以提高可视图表的可访问性。
visualizationschartsaccessibilitytactile chartsvector graphics
发现论文，激发创造
  • ChartAssisstant：通过图表 - 表格预训练和多任务指导调优的通用图表多模态语言模型

    通过 ChartAssistant 这一基于图表的视觉语言模型，本研究提出了一种解决图表理解的通用模型，经实验证明在各种图表任务上取得了显著性能提升。

    Jan, 2024

  • 图表转文本：基于 Transformer 模型的自然语言描述生成

    本论文提出了一种基于神经网络的模型来自动生成数据可视化的自然语言摘要，使得即使视力受损的用户也能够获取数据可视化的重要见解。

    Oct, 2020

  • Chart-Text: 全自动图表图像描述器

    本文提出了一种名为 Chart-Text 的新颖的、可完全自动化生成图表图像文本描述的系统，该系统对 PNG 格式的图表图像进行分类、检测、分类标签和文本，最终使用特定的图像处理算法从图表图像中提取相关信息，并取得了 99.72％的图表分类准确率和 78.9％的数据提取和相应文本描述的准确率。

    Dec, 2018

  • ChartReader: 无启发式规则的图表解除渲染和理解的统一框架

    ChartReader 是一个统一的框架，它无缝地集成了图表 derendering 和理解任务。它使用基于转换器的图表组件检测模块和扩展的预训练视觉语言模型进行学习，该方法通过从注释数据集中自动学习图表规则来消除手动规则制定的需求，同时提高准确性。它在图表到表格、ChartQA 和图表到文本任务上进行评估，证明其优于现有方法。

    Apr, 2023

  • VisText：基于语义丰富的图表标题生成基准测试

    本文介绍了 VisText 数据集，通过 fine-tune state-of-the-art 语言模型并应用 prefix-tuning 生成语义丰富、连贯的图表描述字幕， 经过比较能够接近最先进的图表字幕模型，并提出了可以指导未来工作的错误分类。

    Jun, 2023

  • Chart-to-Text: 一项大规模图表摘要的基准测试

    本研究的 Chart-to-text 数据集为基础，使用图像字幕和数据转换技术探索了从图表到文本的自然语言概括方法以及相应的神经网络模型，研究结果表明此方法对复杂模式和趋势的描述存在困难。

    Mar, 2022

  • MatCha：利用数学推理和图表解渲染增强视觉语言预训练

    MatCha 通过数学推理与图解构造预训练，增强了视觉语言模型的建模能力，成功提高了如 PlotQA 和 ChartQA 等标准基准测试的表现，证实了该方法在更广泛的视觉语言任务上的有效性和可行性。

    Dec, 2022

  • ChartParser：面向印刷障碍者的自动图表解析

    本文介绍了一种利用深度学习、OCR 和图像处理技术的自动化流程 ChartParser，可以将研究论文中的图表提取出来，进行分类，提取有用信息，并以易于使用的表格格式呈现给盲人、低视力和其他印刷受限 (BLV) 的人群。我们还对该方法进行了详细的评估。

    Nov, 2022

  • AltChart: 多预训练任务提升基于 VLM 的图表摘要

    图表概括对于盲人和视障人士来说是一项至关重要的任务，因为它是他们获取和解释图形数据的主要手段。本研究提出了三个关键贡献：引入了 AltChart 数据集，提出了一个新的预训练视觉语言模型的方法，以及对四种主流图表概括模型进行了全面评估。

    May, 2024

  • ChartReformer: 自然语言驱动的图表图像编辑

    利用自然语言的图表图像编辑解决方案 ChartReformer 可编辑图像的外观，消除了对原始数据和信息的需求，从而实现了更精确的编辑。

    Mar, 2024