Jun, 2023

GenPlot: 扩大图表反渲染数据的规模和多样性

PDF
TL;DR本文提出 GenPlot，一个可以使用合成数据生成数十亿个绘图以用于图表解读的情境下的预训练的图表生成器。
visualizationschart-to-text translationpre-training objectivegenplotsynthetic data
发现论文，激发创造
  • 图表转文本：基于 Transformer 模型的自然语言描述生成

    本论文提出了一种基于神经网络的模型来自动生成数据可视化的自然语言摘要，使得即使视力受损的用户也能够获取数据可视化的重要见解。

    Oct, 2020

  • MatCha：利用数学推理和图表解渲染增强视觉语言预训练

    MatCha 通过数学推理与图解构造预训练，增强了视觉语言模型的建模能力，成功提高了如 PlotQA 和 ChartQA 等标准基准测试的表现，证实了该方法在更广泛的视觉语言任务上的有效性和可行性。

    Dec, 2022

  • 让图表生辉：使用文本 - 图像生成模型将语义上下文嵌入图表

    ChartSpark 是一个新型系统，它基于文本到图像生成模型将语义内容嵌入图表中，以此生成有关文本输入和嵌入式数据信息的图片可视化图表，并设计了一个交互式可视化界面，它包括文本分析器、编辑模块和评估模块，用户可以使用该界面生成、修改和评估图片可视化图表。

    Apr, 2023

  • DePlot: 使用绘图表格转换的一次性视觉语言推理

    该论文提出了首个一次学习解决视觉语言推理的解决方案，其利用名为 DePlot 的模态转换模块，将绘图或图表的图像转换为线性化表格，并与大型语言模型结合使用，取得了 24％的进展。

    Dec, 2022

  • Chart-to-Text: 一项大规模图表摘要的基准测试

    本研究的 Chart-to-text 数据集为基础，使用图像字幕和数据转换技术探索了从图表到文本的自然语言概括方法以及相应的神经网络模型，研究结果表明此方法对复杂模式和趋势的描述存在困难。

    Mar, 2022

  • Scatteract：散点图数据自动提取

    该研究介绍了一种完全自动化的系统，利用深度学习技术识别散点图中的关键组成部分，并利用光学字符识别和鲁棒回归从图像中提取散点数值，该方法可以成功从 89% 的测试数据中提取数据。

    Apr, 2017

  • ChartParser：面向印刷障碍者的自动图表解析

    本文介绍了一种利用深度学习、OCR 和图像处理技术的自动化流程 ChartParser，可以将研究论文中的图表提取出来，进行分类，提取有用信息，并以易于使用的表格格式呈现给盲人、低视力和其他印刷受限 (BLV) 的人群。我们还对该方法进行了详细的评估。

    Nov, 2022

  • 多图表生成式表面建模

    介绍了一种基于深度神经网络的三维形状生成模型，利用基于多参数化的张量数据表示来实现高质量的三维形状学习并生成新形状，适用于人体和骨 (牙齿) 形状生成。

    Jun, 2018

  • 线条图形数字化：迈向完全自动化的一步

    本文提出了一个细粒度数学图形的视觉理解任务，提供了 Line Graphics 数据集并测试了七种不同的计算机视觉模型来支持此任务，可应用于语义分割和对象检测。

    Jul, 2023

  • PlotQA: 对科学图形的推理

    为了解决现有合成数据集无法包含现实世界情况和实际中的细节的问题，本研究提出了一个新的数据集 PlotQA，包含了 28.9 百万个问题 - 答案对，针对一些无法容纳在固定字典或图像中的实际问题，设计了一种混合方法的问题回答引擎，在 DVQA 和 PlotQA 上实现了显著的预测准确率提升。

    Sep, 2019