Jun, 2023

使用对比奖励提升基于参考的独特图片描述

PDF
TL;DR该研究提出了新的 Ref-DIC 基准和基于 Transformer 的 Ref-DIC 模型 TransDIC 及 TransDIC++，并采用新的指标 DisCIDEr 评估其生成字幕的准确性和独特性，实验结果表明 TransDIC++ 在两个新基准上优于其他现有模型。
distinctive image captioningref-dictransformer-basedcontrastive learningdiscider
发现论文，激发创造
  • 比较与重新加权：使用相似图像集进行独特的图像字幕

    通过 CIDErBtw 度量图片独特性，结合带权损失函数和强化学习奖励等多种训练策略，本文提出了一种改进的图像描述生成方法，实验证明该方法显著提高了描述独特性和准确性。

    Jul, 2020

  • 通过比较和重新加权进行独特图像字幕

    本研究旨在通过比较和重新加权计算一组相似图像来提高图像字幕的独特性。我们提出了一种称为 CIDErBtw 的独特性度量，用于衡量字幕与类似图像的独特性，并在训练期间重新加权了每个人工注释，以提高生成的字幕的独特性和准确性。

    Apr, 2022

  • 图像字幕的对比学习

    本文提出一种基于对比学习的图像字幕生成方法，即在参考模型的基础上，通过两个约束条件，鼓励生成独特的字幕，从而提高字幕的质量和独特性。我们在两个挑战性数据集上测试了该方法，并证明它是通用的并可用于不同结构的模型。

    Oct, 2017

  • 基于分组的记忆关注图像独特描述

    本研究提出了一种基于组的独特字幕模型 (GdisCap)，使用组内图像比较方法来提高图像字幕的独特性，并引入了基于组的记忆关注机制 (GMA) 来突出每个图像的唯一性，从而提高字幕的独特性。实验结果表明所提出的方法在准确性和独特性方面均表现出最先进的性能。

    Aug, 2021

  • 基于预训练和对比学习的图像差异字幕生成

    本文提出了一种基于自监督学习的图像差异描述任务的建模框架，并通过对比学习策略来提高视觉与语言的相关性，同时使用数据扩展方法利用多余的监督信息来拓宽有限的数据集，实验表明这种方法有效。

    Feb, 2022

  • 去混淆化的图片字幕生成：一项因果回顾研究

    本文提出了一种基于因果推断的新颖视角：去混淆图像标题（DIC），给出了 DICv1.0 框架，并在 MS-COCO 数据集的 Karpathy 和在线分裂上展示了 DICv1.0 的改进：两个流行的标题模型分别达到了单模型的 130.7 CIDEr-D 和 128.4 c40 CIDEr-D，为图像标题提供了有前途的方向。

    Mar, 2020

  • 保留字幕信息：在对比图像 - 字幕检索中预防快捷学习

    采用潜在目标解码 (LTD) 方法作为优化约束来降低图像 - 标题检索 (ICR) 方法的学习捷径，以提高其一般化能力和召回率。

    Apr, 2022

  • 用于训练描述性字幕的区分性目标

    本文提出了一种改进图像标题生成方法的方法，通过在训练过程中加入与机器学习相关的损失函数来加强图像标题的区分度，从而提高生成标题的质量。

    Mar, 2018

  • 关于图像标注中的多样性：如何像人类一样描述

    本文提出了一种新的度量图像标题多样性的指标，并使用隐含语义分析进行核函数转换以利用 CIDEr 相似度进行度量，结果发现最近的标题模型在准确度和多样性方面与人类表现仍存在较大差距，并且优化准确度（CIDEr）的模型的多样性很低，同时表明在强化学习的交叉熵损失和 CIDEr 奖励之间进行平衡可以有效地控制生成的标题的多样性和准确性的平衡。

    Mar, 2019

  • 使用部分标注数据自检索进行图像字幕生成

    该论文描述了一种基于自检索模块的图像字幕生成框架，通过训练引导生成鉴别性的字幕并无需人工标注，从而提高图像字幕的性能。

    Mar, 2018