ACLJun, 2023

VisText：基于语义丰富的图表标题生成基准测试

PDF
TL;DR本文介绍了 VisText 数据集，通过 fine-tune state-of-the-art 语言模型并应用 prefix-tuning 生成语义丰富、连贯的图表描述字幕， 经过比较能够接近最先进的图表字幕模型，并提出了可以指导未来工作的错误分类。
captionschartsvistextlanguage modelscognitive phenomena
发现论文，激发创造
  • Chart-to-Text: 一项大规模图表摘要的基准测试

    本研究的 Chart-to-text 数据集为基础，使用图像字幕和数据转换技术探索了从图表到文本的自然语言概括方法以及相应的神经网络模型，研究结果表明此方法对复杂模式和趋势的描述存在困难。

    Mar, 2022

  • Chart-Text: 全自动图表图像描述器

    本文提出了一种名为 Chart-Text 的新颖的、可完全自动化生成图表图像文本描述的系统，该系统对 PNG 格式的图表图像进行分类、检测、分类标签和文本，最终使用特定的图像处理算法从图表图像中提取相关信息，并取得了 99.72％的图表分类准确率和 78.9％的数据提取和相应文本描述的准确率。

    Dec, 2018

  • Alt4Blind：简化图表 Alt 文本创建的用户界面

    从相似的图表图像中检索高质量的替代文本，以辅助用户生成准确的替代文本，并通过引入新的基准数据集、开发深度学习模型和设计用户界面来解决现有模型产生不准确或误导性信息的问题。

    May, 2024

  • TextCaps：一种带有阅读理解的图像字幕数据集

    该研究创建了一个新的数据集 TextCaps，涉及 28k 张图片和 145k 个标题，用于挑战计算机视觉模型识别图像中的文本，与视觉环境进行关联，并决定要复制或释义文本的哪个部分。研究表明，这个新的数据集提供了许多前所未有的技术挑战。

    Mar, 2020

  • 让图表生辉：使用文本 - 图像生成模型将语义上下文嵌入图表

    ChartSpark 是一个新型系统，它基于文本到图像生成模型将语义内容嵌入图表中，以此生成有关文本输入和嵌入式数据信息的图片可视化图表，并设计了一个交互式可视化界面，它包括文本分析器、编辑模块和评估模块，用户可以使用该界面生成、修改和评估图片可视化图表。

    Apr, 2023

  • 通过跨模态学习增强科学图像标题

    本文提出了一种新的科学图表标题生成方法，通过自然语言处理、机器学习和多模态技术，从图表中提取关键信息并生成准确简洁的标题，以提高研究数据的清晰度和可访问性。

    Jun, 2024

  • 图表转文本：基于 Transformer 模型的自然语言描述生成

    本论文提出了一种基于神经网络的模型来自动生成数据可视化的自然语言摘要，使得即使视力受损的用户也能够获取数据可视化的重要见解。

    Oct, 2020

  • AltChart: 多预训练任务提升基于 VLM 的图表摘要

    图表概括对于盲人和视障人士来说是一项至关重要的任务，因为它是他们获取和解释图形数据的主要手段。本研究提出了三个关键贡献：引入了 AltChart 数据集，提出了一个新的预训练视觉语言模型的方法，以及对四种主流图表概括模型进行了全面评估。

    May, 2024

  • 高效图像探索与用户引导图像标题生成的视觉分析

    运用预训练的大规模语言 - 图像模型，本文尝试解决可视化分析中的两个问题：大规模图像数据集的高效探索与潜在数据偏差的发现以及图像标题的评估与生成过程的引导。通过分析从语言 - 图像模型自动生成的图像标题，我们能深入了解视觉内容的语义基础，并发现数据偏差。同时，通过展示视觉内容与文本标题之间的关联，揭示了预训练的语言 - 图像模型在标题生成能力上的不足，并提出了一种交互界面来引导标题生成。通过具体案例研究和大规模图像数据集的领域实践者验证了该系统的有效性。

    Nov, 2023

  • 使用标题和点击数据的多任务文本到视觉嵌入

    论文提出一种新的方法，使用图像标题和来自图像搜索引擎的点击数据来学习文本 - 视觉嵌入，并通过建模嵌入的积极感知提出新的三元损失函数，以及引入一种新的基于小批次的难例负采样方法来提高学习过程的数据效率，实验结果表明，该方法的表现优于现有方法，并且对于现实世界的文本到视觉检索也十分有效。

    May, 2019