发明专利图生成短长说明

ICCVSep, 2023

PatFig: Generating Short and Long Captions for Patent Figures

Dana Aubakirova, Kim Gerdes, Lufei Liu

TL;DR介绍了 Qatent PatFig，这是一个创新的大规模专利图像数据集，包括来自超过 11,000 个欧洲专利申请的 30,000 多个专利图像。每个图像都提供简短和长篇的描述、参考编号及其相应的术语，以及描述图像组件之间相互作用的最小索赔集。通过在 Qatent PatFig 上微调 LVLM 模型以生成简短和长篇描述，并研究在专利图像字幕生成过程中加入不同的基于文本的线索在预测阶段的效果，评估了数据集的可用性。

Abstract

This paper introduces qatent patfig, a novel large-scale patent figure dataset comprising 30,000+ patent figures from over 11,000 European patent applications. For each figure, this dataset provides short and long captions, reference numerals, their corresponding terms, and the minimal

qatent patfig patent figure dataset european patent applications lvlm model patent figure captioning

发现论文，激发创造

SciCap：生成科学图像的标题

本文提出一种端到端的神经框架，用于自动生成科学图表的信息丰富，高质量的标题，并引入了基于计算机科学 arXiv 论文的 SCICAP 大规模图标题数据集，包括 200 万多个来自 290,000 多篇论文的图像，展示了为科学图表生成标题的机遇和挑战。

Oct, 2021

DeepPatent2：用于技术图纸理解的大规模基准测试语料库

最近计算机视觉（CV）和自然语言处理的快速发展受益于对实际应用中的大数据的利用。然而，这些研究领域仍受到可用数据集的数量、多样性和多样性的限制。本研究介绍了 DeepPatent2，这是一个大规模数据集，提供了超过 270 万张技术绘图，其中包含 132,890 个对象名称和 22,394 个视角，提取自 14 年的美国设计专利文件。我们展示了 DeepPatent2 在概念字幕生成方面的实用性，同时还提供了我们的数据集在促进其他研究领域如三维图像重建和图像检索方面的潜在用途。

Nov, 2023

SciCap+: 研究科学图标题挑战的知识增强数据集

通过扩充 SciCap 数据集，创新性地将科技论文中的图例标注生成作为知识增强图像标注任务，提高自动标注的效率与准确性，并探讨了从不同模视觉图像和文本知识融合的角度进行标注生成的实验研究。

Jun, 2023

以图注形式生成科学文档的自动文本摘要

本文介绍用纯文本方法生成科学文献图注的一种新方法，使用了提取目标图像引用的句子然后将其总结为简明的图注的技术。通过真实世界 arXiv 论文的实验，我们的方法在自动和人工评估中都优于以前的方法，证明了纯文本技术在生成学术文章中的图片标注方面的有效性。

Feb, 2023

MedICaT: 医学影像、字幕和文本参考数据集

介绍了用于 MedICaT 医学图像的上下文数据集，其中包括来自 131k 篇开放获取生物医学论文的 217k 个图像。该数据集用于研究复合图中的子图对子标题的自动对齐，并展示了内联引用在图像文本匹配中的效用。

Oct, 2020

BIGPATENT：大规模的抽象和连贯摘要数据集

本研究提出了一个新的数据集 BIGPATENT，包含了 130 万条美国专利文件及其人工写成的抽象摘要，其中摘要具有更丰富的信息结构和更均匀地分布在原始文件中，且比现有的数据集具有更少和更短的提取片段，在此基础上，我们使用各种学习模型对 BIGPATENT 进行了训练和评估，以揭示新的挑战和激励未来的总结研究方向。

Jun, 2019

数据可视化字幕生成模型的线状图示

本文介绍了一种新的制图注释数据集 LineCap，还探讨了使用端到端的深度学习模型进行自动图注的相关应用和难点。

Jul, 2022

ACL-Fig: 用于科学图像分类的数据集

该研究提出了利用深度学习框架分类科学图表的流程，通过构建一个包含注释的大规模科学图表库，开创了科学图表自动注释的先河。

Jan, 2023

SciCapenter: 支持科学图表的标题组合与机器生成的标题和评级

SciCapenter 是一个交互式系统，使用尖端的人工智能技术为科学图解提供多样的说明，通过评估说明质量的得分和综合检查表，显著降低了科学说明撰写的认知负荷。

Mar, 2024

基于推理和序列级训练的图像描述生成

本文探讨了图标题问题，提出了一个基于 FigureQA 数据集的新数据集 FigCAP，同时提出了 Label Maps Attention 和 Relation Maps Attention 两种新型关注机制，以及采用强化学习进行序列级训练以优化评估指标，从而改善长标题的生成并在广泛实验中取得显著优于基线的表现，具有自动生成各种图形标签的巨大潜力。

Jun, 2019