Dec, 2023

用自然语言描述图像集合之间的差异

PDF
TL;DR自动描述两个图像集之间的差异，并通过对候选描述进行重新排序来区分两个集合，从而揭示数据集和模型中的潜在差异
set difference captioningvisdiffimage setsdifference descriptionsmodel behaviors
发现论文，激发创造
  • 学习描述一对相似图片之间的差异

    本文介绍了一项任务，即自动生成文本来描述两个相似图像之间的差异。我们通过众包获取了一组新的数据集，并提出了一种模型，该模型使用隐变量来根据像素聚类将不同的像素与输出句子对齐，以捕捉视觉显著性并实现语言和视觉的对准。

    Aug, 2018

  • 基于预训练和对比学习的图像差异字幕生成

    本文提出了一种基于自监督学习的图像差异描述任务的建模框架，并通过对比学习策略来提高视觉与语言的相关性，同时使用数据扩展方法利用多余的监督信息来拓宽有限的数据集，实验表明这种方法有效。

    Feb, 2022

  • L2C: 描述视觉差异需要对个体进行语义理解

    本文介绍了一种 Learning-to-Compare 模型，该模型能够理解两个图像之间的语义结构并学习描述每个图像，从而有效地进行图像比较和生成描述。使用该模型可以在 Birds-to-Words 数据集上实现比基准模型更好的性能，且同时在自动评估和人类评估中表现良好。

    Feb, 2021

  • 图像字幕的对比学习

    本文提出一种基于对比学习的图像字幕生成方法，即在参考模型的基础上，通过两个约束条件，鼓励生成独特的字幕，从而提高字幕的质量和独特性。我们在两个挑战性数据集上测试了该方法，并证明它是通用的并可用于不同结构的模型。

    Oct, 2017

  • 用于训练描述性字幕的区分性目标

    本文提出了一种改进图像标题生成方法的方法，通过在训练过程中加入与机器学习相关的损失函数来加强图像标题的区分度，从而提高生成标题的质量。

    Mar, 2018

  • 使用自然语言描述文本分布之间的差异

    本文介绍了如何使用 GPT-3 来自动生成更容易描述两个文本分布差异的语言假设，并介绍了该方法在处理二分类任务、调试数据集缺陷、总结未知任务和标记文本聚类方面的应用，最终得到了较好的效果。

    Jan, 2022

  • CLIP4IDC：基于 CLIP 的图像差异描述

    CLIP4IDC 提出一种自适应训练流程来解决传统方法中存在的预训练数据集领域差异和图片变化编码不充分等问题，以解决图像差异描述任务，实验结果表明其有效性。

    Jun, 2022

  • 面向上下文的多变动字幕中的差异提取

    该研究提出了一种新颖的上下文感知差异提取（CARD）网络，用于描述自然语言中图像对中的复杂和耦合变化，通过捕捉所有真实的变化来生成句子，并在三个公共数据集上展示了优于现有方法的性能。

    May, 2024

  • 使用深度学习将两个场景的概念差异本地化，以供家庭保洁使用

    本文提出了一种基于深度学习和迁移学习的方法，用于发现工业环境中两幅图像间的概念差异，解决了因环境中物体种类丰富多样以及光照条件改变而导致监督学习方法无法准确区分的问题，并使用添加和合成数据的方法来生成数据集，并对模型结果进行了评估，该方法具有较好的工业应用前景。

    Aug, 2022

  • 比较与对比：学习显著视觉差异

    此篇论文探讨了突出不同之处的新功能，使用相对属性特征预测视觉上最显著的差异，并在 UT-Zap50K 鞋和 LFW10 人脸数据集上进行了测试，证明了改进图像搜索和描述生成任务的性能。

    Mar, 2018