CVPRMar, 2018

类人标记：多样性和独特性图像注释

PDF
TL;DR提出一种新的自动图像标注模型 D2IA，该模型基于人类注释的集成学习，利用确定性点过程（DPP）模型生成与图像内容相关且语义上不同的关键词子集，并利用生成对抗网络模型进行训练，实验证明其在图片标注的多样性和唯一性方面具备优势。
automatic image annotationgenerative modelensemble learningsemantically distinct tagsgan model
发现论文，激发创造
  • 通过概率分布建模的多样化语义图像合成

    本文提出了一种从语义类分布的角度来支持语义或实例级别多样性生成的多样语义图像合成框架，包括条件调制参数和噪声重映射，并在多个数据集上取得了良好的效果。

    Mar, 2021

  • 注释顺序很重要：适用于任意长度图像标注的循环图像注释器

    该研究提出了一种新的递归图像注释器（RIA）模型，将图像注释任务形成为序列生成问题，以便 RIA 可以根据图像内容本地预测正确的标记长度。 该模型在各种图像注释数据集上进行了评估，并显示其在任意长度图像标记任务上作为高质量基准的能力。 此外，实验结果表明，在训练阶段中标记的顺序对最终注释性能有很大影响。

    Apr, 2016

  • 深度领域泛化的多组分图像转换

    通过生成对抗网络生成的合成数据和应用 DA 方法到 DG 场景的协议，作者提出了两种方法来解决领域泛化挑战，并在四个跨领域基准数据集上进行了大量实验。实验结果表明，所提出的模型在 DG 方面优于当前最先进的方法。

    Dec, 2018

  • 自动扩展扩散的视觉数据集

    本研究介绍了一种基于自然语言描述的图像增广方法（ALIA），通过大规模视觉模型与语言模型的结合，自动生成域名描述，实现对样本数据的增广。该算法有效提高了训练数据的多样性，经过测试在细粒度和复杂分类中表现良好。

    May, 2023

  • 通过交互式注意力对齐，将人类和深度神经网络的眼睛对准

    提出了一种交互式注意力对齐（IAA）框架，旨在实现可操纵的深度神经网络（DNNs），其中利用 DNN 模型解释方法作为交互媒介，直接调整注意力以改善 DNN 的准确性和公正性，并提出了一个计算流程，即 GRADIA，可以同时最大化注意力质量和预测准确性。通过两项研究，发现这种框架可以显著提高模型准确性和公正性，为未来交互式用户界面设计提供了启示。

    Feb, 2022

  • Instruct2Attack: 语言引导的语义对抗攻击

    我们提出了 Instruct2Attack（I2A），一种基于语言引导的语义攻击，根据自由形式的语言指令生成语义上有意义的扰动。我们利用最先进的潜态扩散模型，通过对逆扩散过程进行对抗性引导，寻找输入图像和文本指令条件下的对抗性潜态编码。与基于噪声和语义的现有攻击相比，I2A 生成更自然和多样的对抗性样本，同时提供更好的可控性和可解释性。我们还利用 GPT-4 自动化攻击过程，生成多样的图像特定文本指令。我们表明，即使在强大的对抗性防御下，I2A 仍能成功破解最先进的深度神经网络，并展示其在各种网络架构之间的强大迁移能力。

    Nov, 2023

  • 领域对抗深度图像生成用于领域泛化

    本文介绍了一种基于深度生成对抗网络的领域泛化方法，通过生成新的数据使学习模型适应未知的测试领域，从而提高模型的准确性和鲁棒性。

    Mar, 2020

  • DA-GAN：基于深度注意机制生成对抗网络的实例级图像翻译

    该论文提出了一种利用 Deep Attention GAN（DA-GAN）进行实例级图像翻译的新框架，可以在高度结构化的潜空间中将来自两个集合的样本进行转换，实例级的对应关系可以通过在学习到的实例对上进行注意力来发现，该方法在应用方面表现出了很好的效果。

    Feb, 2018

  • DP-GAN：促进多样性的生成对抗网络用于生成丰富多样化文本

    本研究提出了一种基于 DP-GAN 模型的文本生成方法，在语言模型鉴别器的基础上使用低奖励惩罚重复生成的文本，高奖励鼓励生成信息丰富且多样化的文本，并在评论和对话生成任务中证明了相较现有基准模型生成的文本更为丰富多样。

    Feb, 2018

  • 基于分组的记忆关注图像独特描述

    本研究提出了一种基于组的独特字幕模型 (GdisCap)，使用组内图像比较方法来提高图像字幕的独特性，并引入了基于组的记忆关注机制 (GMA) 来突出每个图像的唯一性，从而提高字幕的独特性。实验结果表明所提出的方法在准确性和独特性方面均表现出最先进的性能。

    Aug, 2021