May, 2024

Alt4Blind：简化图表 Alt 文本创建的用户界面

PDF
TL;DR从相似的图表图像中检索高质量的替代文本，以辅助用户生成准确的替代文本，并通过引入新的基准数据集、开发深度学习模型和设计用户界面来解决现有模型产生不准确或误导性信息的问题。
发现论文，激发创造
  • Chart-Text: 全自动图表图像描述器

    本文提出了一种名为 Chart-Text 的新颖的、可完全自动化生成图表图像文本描述的系统，该系统对 PNG 格式的图表图像进行分类、检测、分类标签和文本，最终使用特定的图像处理算法从图表图像中提取相关信息，并取得了 99.72％的图表分类准确率和 78.9％的数据提取和相应文本描述的准确率。

    Dec, 2018

  • VisText：基于语义丰富的图表标题生成基准测试

    本文介绍了 VisText 数据集，通过 fine-tune state-of-the-art 语言模型并应用 prefix-tuning 生成语义丰富、连贯的图表描述字幕， 经过比较能够接近最先进的图表字幕模型，并提出了可以指导未来工作的错误分类。

    Jun, 2023

  • AltChart: 多预训练任务提升基于 VLM 的图表摘要

    图表概括对于盲人和视障人士来说是一项至关重要的任务，因为它是他们获取和解释图形数据的主要手段。本研究提出了三个关键贡献：引入了 AltChart 数据集，提出了一个新的预训练视觉语言模型的方法，以及对四种主流图表概括模型进行了全面评估。

    May, 2024

  • Chart-to-Text: 一项大规模图表摘要的基准测试

    本研究的 Chart-to-text 数据集为基础，使用图像字幕和数据转换技术探索了从图表到文本的自然语言概括方法以及相应的神经网络模型，研究结果表明此方法对复杂模式和趋势的描述存在困难。

    Mar, 2022

  • Twitter 图像的条件性替代文本生成

    本研究提出了一种方法，利用 CLIP 前缀模型从社交媒体中的图片和相关的文本生成互补的文本描述，实验结果表明，利用文本和视觉信息来生成互补文本能够显著提高其性能。

    May, 2023

  • 通过跨模态学习增强科学图像标题

    本文提出了一种新的科学图表标题生成方法，通过自然语言处理、机器学习和多模态技术，从图表中提取关键信息并生成准确简洁的标题，以提高研究数据的清晰度和可访问性。

    Jun, 2024

  • 图表转文本：基于 Transformer 模型的自然语言描述生成

    本论文提出了一种基于神经网络的模型来自动生成数据可视化的自然语言摘要，使得即使视力受损的用户也能够获取数据可视化的重要见解。

    Oct, 2020

  • 多模态图像字幕生成（面向视觉障碍人士）

    本研究提出用 AoANet 和指针 - 生成机制来改进图像字幕视频，实现文本检测和复制，提高图像字幕性能从而更好地帮助视力受损人士理解环境。

    May, 2021

  • 小部件字幕：为移动用户界面元素生成自然语言描述

    提出了一种通过多模态输入自动生成 UI 元素的语言描述的新任务：小部件字幕生成任务，并使用众包收集了一个大规模的包含 162,859 个语言短语的数据集以对此进行深入分析，该数据集涵盖了 21,750 个独特 UI 屏幕中的 61,285 个 UI 元素的结构表示和图像。

    Oct, 2020

  • VisualTextRank：基于图结构无监督内容提取技术，用于自动化广告文本到图像搜索

    研究了如何通过关键词提取，实现在线广告投放中通过短文本查询获得相关广告图片。借助广告图像查询日志，VisualTextRank 算法成功解决了该问题，它通过提取广告文本（或文本增强版本）中的关键词来生成广告图片查询，显著提高了图片搜索准确度达 11%。

    Aug, 2021