Sep, 2020

另一侧的发现：一种适应视角的匹配编码器用于变化字幕

PDF
TL;DR本文提出一种新颖的视觉编码器，以在 Change Captioning 任务中明确区分视点变化和语义变化，并进一步模拟人类的注意力偏好，通过一种新的强化学习过程直接微调注意力。实验结果表明，该方法在 Spot-the-Diff 和 CLEVR-Change 数据集中的表现优于现有方法。
发现论文，激发创造
  • 自我监督的跨视图表示重建用于变化字幕

    本文提出了一种自监督的 SCORER（self-supervised cross-view representation reconstruction）网络来学习稳定的差异表示，以用于生成图像描述，同时利用交叉模态的逆向推理提高描述质量。实验证明该方法在四个数据集上取得了最先进的结果。

    Sep, 2023

  • 邻域对比变换器用于变化说明

    本文提出了一种基于邻域对比变换的改进模型，用于语义变化的描述。实验证明，该方法在三个场景不同的公共数据集上都实现了最先进的性能

    Mar, 2023

  • R$^3$Net: 基于关系嵌入的表示重建网络用于变化描述

    本文提出了一个基于关系嵌入的表示重建网络（R3Net）来明确区分真实变化和大量混乱和无关变化，并引入了外部语法骨架预测器（SSP）来增强变化定位和字幕生成之间的语义交互，实验结果表明，所提出的方法在两个公共数据集上达到了最先进的水平。

    Oct, 2021

  • 基于 Transformer 的多个变化的描述和定位

    本研究提出基于模拟的多变化字幕数据集并将现有单个变化字幕学习方法应用于多变化字幕任务上，此外，我们还提出 MCCFormers 方法以识别图像对中的变化区域并动态确定与句子中的单词相关的变化区域，该方法在多变化字幕评估指标方面表现出最高得分，在变化局部化方面也表现出色，且优于现有的变化字幕基准。

    Mar, 2021

  • 观察和修改：用于图像字幕生成的修改网络

    通过建模剩余信息并在每个时间步长决定保留、删除或添加已有语句，本研究提出了一种新的模型框架，能够成功地修改原有的内容从而提高评估分数。

    Sep, 2019

  • 远程感知变化字幕的注意力网络

    通过使用自然语言处理技术直接学习和分析遥感图像，本研究提出使用 Chg2Cap 网络处理双时相遥感图像变化标注任务，该网络包括 Siamese CNN 特征提取器、注重变化相关特征的自注意力编码器和 Transformer 生成器，并在两个典型遥感数据集上经过充分实验验证。

    Apr, 2023

  • L2C: 描述视觉差异需要对个体进行语义理解

    本文介绍了一种 Learning-to-Compare 模型，该模型能够理解两个图像之间的语义结构并学习描述每个图像，从而有效地进行图像比较和生成描述。使用该模型可以在 Birds-to-Words 数据集上实现比基准模型更好的性能，且同时在自动评估和人类评估中表现良好。

    Feb, 2021

  • 基于预训练和对比学习的图像差异字幕生成

    本文提出了一种基于自监督学习的图像差异描述任务的建模框架，并通过对比学习策略来提高视觉与语言的相关性，同时使用数据扩展方法利用多余的监督信息来拓宽有限的数据集，实验表明这种方法有效。

    Feb, 2022

  • 学习描述一对相似图片之间的差异

    本文介绍了一项任务，即自动生成文本来描述两个相似图像之间的差异。我们通过众包获取了一组新的数据集，并提出了一种模型，该模型使用隐变量来根据像素聚类将不同的像素与输出句子对齐，以捕捉视觉显著性并实现语言和视觉的对准。

    Aug, 2018

  • 图像字幕的对比学习

    本文提出一种基于对比学习的图像字幕生成方法，即在参考模型的基础上，通过两个约束条件，鼓励生成独特的字幕，从而提高字幕的质量和独特性。我们在两个挑战性数据集上测试了该方法，并证明它是通用的并可用于不同结构的模型。

    Oct, 2017