Dec, 2018

Chart-Text: 全自动图表图像描述器

PDF
TL;DR本文提出了一种名为 Chart-Text 的新颖的、可完全自动化生成图表图像文本描述的系统，该系统对 PNG 格式的图表图像进行分类、检测、分类标签和文本，最终使用特定的图像处理算法从图表图像中提取相关信息，并取得了 99.72％的图表分类准确率和 78.9％的数据提取和相应文本描述的准确率。
发现论文，激发创造
  • Alt4Blind：简化图表 Alt 文本创建的用户界面

    从相似的图表图像中检索高质量的替代文本，以辅助用户生成准确的替代文本，并通过引入新的基准数据集、开发深度学习模型和设计用户界面来解决现有模型产生不准确或误导性信息的问题。

    May, 2024

  • VisText：基于语义丰富的图表标题生成基准测试

    本文介绍了 VisText 数据集，通过 fine-tune state-of-the-art 语言模型并应用 prefix-tuning 生成语义丰富、连贯的图表描述字幕， 经过比较能够接近最先进的图表字幕模型，并提出了可以指导未来工作的错误分类。

    Jun, 2023

  • Chart-to-Text: 一项大规模图表摘要的基准测试

    本研究的 Chart-to-text 数据集为基础，使用图像字幕和数据转换技术探索了从图表到文本的自然语言概括方法以及相应的神经网络模型，研究结果表明此方法对复杂模式和趋势的描述存在困难。

    Mar, 2022

  • ChartParser：面向印刷障碍者的自动图表解析

    本文介绍了一种利用深度学习、OCR 和图像处理技术的自动化流程 ChartParser，可以将研究论文中的图表提取出来，进行分类，提取有用信息，并以易于使用的表格格式呈现给盲人、低视力和其他印刷受限 (BLV) 的人群。我们还对该方法进行了详细的评估。

    Nov, 2022

  • 通过跨模态学习增强科学图像标题

    本文提出了一种新的科学图表标题生成方法，通过自然语言处理、机器学习和多模态技术，从图表中提取关键信息并生成准确简洁的标题，以提高研究数据的清晰度和可访问性。

    Jun, 2024

  • 图表转文本：基于 Transformer 模型的自然语言描述生成

    本论文提出了一种基于神经网络的模型来自动生成数据可视化的自然语言摘要，使得即使视力受损的用户也能够获取数据可视化的重要见解。

    Oct, 2020

  • AltChart: 多预训练任务提升基于 VLM 的图表摘要

    图表概括对于盲人和视障人士来说是一项至关重要的任务，因为它是他们获取和解释图形数据的主要手段。本研究提出了三个关键贡献：引入了 AltChart 数据集，提出了一个新的预训练视觉语言模型的方法，以及对四种主流图表概括模型进行了全面评估。

    May, 2024

  • 图表分类的调查与方法

    调查了当前用于图表分类的最新技术，并对最近发布的 CHARTINFO UB-UNITECH PMC 数据集进行了广泛的性能比较分析，实现了一种基于视觉的 Transformer 模型，取得了在图表分类方面顶尖的结果。

    Jul, 2023

  • 让图表生辉：使用文本 - 图像生成模型将语义上下文嵌入图表

    ChartSpark 是一个新型系统，它基于文本到图像生成模型将语义内容嵌入图表中，以此生成有关文本输入和嵌入式数据信息的图片可视化图表，并设计了一个交互式可视化界面，它包括文本分析器、编辑模块和评估模块，用户可以使用该界面生成、修改和评估图片可视化图表。

    Apr, 2023

  • ChartFormer: 将图表图像转换为触觉可访问的 SVG 的大型视觉语言模型

    通过图表分析，将光栅图像转换为触觉可访问的 SVG，以提高可视图表的可访问性。

    May, 2024