Feb, 2023

以图注形式生成科学文档的自动文本摘要

PDF
TL;DR本文介绍用纯文本方法生成科学文献图注的一种新方法，使用了提取目标图像引用的句子然后将其总结为简明的图注的技术。通过真实世界 arXiv 论文的实验，我们的方法在自动和人工评估中都优于以前的方法，证明了纯文本技术在生成学术文章中的图片标注方面的有效性。
figure captionscaption generationtext summarizationscientific communicationarxiv papers
发现论文，激发创造
  • SciCap：生成科学图像的标题

    本文提出一种端到端的神经框架，用于自动生成科学图表的信息丰富，高质量的标题，并引入了基于计算机科学 arXiv 论文的 SCICAP 大规模图标题数据集，包括 200 万多个来自 290,000 多篇论文的图像，展示了为科学图表生成标题的机遇和挑战。

    Oct, 2021

  • 通过跨模态学习增强科学图像标题

    本文提出了一种新的科学图表标题生成方法，通过自然语言处理、机器学习和多模态技术，从图表中提取关键信息并生成准确简洁的标题，以提高研究数据的清晰度和可访问性。

    Jun, 2024

  • SciCap+: 研究科学图标题挑战的知识增强数据集

    通过扩充 SciCap 数据集，创新性地将科技论文中的图例标注生成作为知识增强图像标注任务，提高自动标注的效率与准确性，并探讨了从不同模视觉图像和文本知识融合的角度进行标注生成的实验研究。

    Jun, 2023

  • SciCapenter: 支持科学图表的标题组合与机器生成的标题和评级

    SciCapenter 是一个交互式系统，使用尖端的人工智能技术为科学图解提供多样的说明，通过评估说明质量的得分和综合检查表，显著降低了科学说明撰写的认知负荷。

    Mar, 2024

  • ICCV 2023 第一届科学图像标题生成挑战的解决方案

    通过文本摘要生成图像标题，提取 OCR 信息，提取特定图像的信息，使用评估指标 BRIO 进行质量评估，获得最高的得分。

    Mar, 2024

  • 基于推理和序列级训练的图像描述生成

    本文探讨了图标题问题，提出了一个基于 FigureQA 数据集的新数据集 FigCAP，同时提出了 Label Maps Attention 和 Relation Maps Attention 两种新型关注机制，以及采用强化学习进行序列级训练以优化评估指标，从而改善长标题的生成并在广泛实验中取得显著优于基线的表现，具有自动生成各种图形标签的巨大潜力。

    Jun, 2019

  • 通过内容多样性探索实现准确的基于文本的图像描述

    本文提出了一种基于锚文本和锚中心图的多视角多解释图像说明生成方法，以提高生成说明的多样性和准确性。

    Apr, 2021

  • 通过参考生成的段落标题来提高视觉问答能力

    提出了一种视觉和文本问题回答（VTQA）模型，该模型使用自动生成的段落式标题来丰富图像的信息以帮助正确回答视觉问题，并使用交叉融合和基于强化学习的编码器解码器模型实现跨模态融合。模型在 Visual Genome 数据集上进行训练，显著提高了现有模型的性能。

    Jun, 2019

  • GPT-4 作为科学图注的有效零样学习评估器

    使用大型语言模型（LLMs）作为一种经济的、无需参考的方法来评估科学图的标题，通过与人类学术专家评估和其他模型评估相比较，GPT-4 在评估中表现出色，甚至超过了计算机科学与信息学本科生的评估结果。

    Oct, 2023

  • 更好地利用图片描述提升图像字幕质量

    本文提出了一种新的图像字幕架构，通过构建以字幕为导向的视觉关系图以及利用弱监督多实例学习引入有益的归纳偏差来增强图像表示和字幕生成，实现多模态问题解决和优化。在 MSCOCO 数据集上进行广泛实验，证明该框架在多种评估指标下取得了业内最优表现。

    Jun, 2020