CVPRJul, 2020

条件图像匹配的协同关注

PDF
TL;DR提出了一种新的方法来确定自然环境下图像对之间的对应关系，在大的光照变化、视角变化、语境和材料下进行。该方法引入了一种空间注意力机制和一个独特性得分，能够改善对这些因素变化下的对应关系的检测，并在许多任务中实现了最先进或具有竞争力的结果。
image correspondencesillumination changesviewpoint changesco-attention moduledistinctiveness score
发现论文，激发创造
  • 基于演员条件的视频行动检测的注意力地图

    本研究提出使用注意力模块中的演员条件化关注映射（ACAM）代替兴趣区域池化，以实现针对特定演员的动作定位，并利用预训练的物体检测器进行物体检测，从而在 AV2.1 和 JHMDB 数据集上获得明显改进。

    Dec, 2018

  • AMC：基于注意力的多模态相关学习用于图像搜索

    本文提出了一种基于注意力机制的多模式关联（AMC）学习方法，该方法可以使图像检索受益于可用的丰富模式信息，进而提高检索结果的排序准确性。

    Apr, 2017

  • 因果关注用于无偏视觉识别

    本文提出了一种因果关系注意力模块，通过自我注释来识别难以预测的混淆变量，从而使深度学习模型更好地处理在分布不同的情况下仍具备鲁棒性的因果特征，不仅解决了监督注释需要高昂成本、混淆变量难以抽象提取等问题，并在相应实验中得到了卓越的结果。

    Aug, 2021

  • 多视图子空间学习的深度共注意力网络

    本研究提出了一种基于深度学习的共同关注网络，用于多模态数据的子空间学习，能够提取共性信息和补充信息，并通过协同关注机制向最终用户提供预测的解释。通过引入分类器和交叉重构损失以优化潜在表示和加速收敛速度，最终在合成数据和实际数据集上进行了广泛评估。

    Feb, 2021

  • COMNet: 弱监督语义分割中的共现匹配

    本文提出了一种新颖的 Co-Occurrent Matching Network（COMNet），可以提升 CAM 的质量，并强制网络关注整个目标的各个部分，从而有效提高基线模型的性能并达到最新的最佳性能。

    Sep, 2023

  • 看得更多，知道得更多：利用联合注意力孪生网络进行无监督视频对象分割

    提出了一种名为 COSNet 的新型网络，用于表示全局视角下的无监督视频对象分割任务，其中利用全局注意机制结合视频帧之间的相关性，训练效果超越当前的深度学习方法。

    Jan, 2020

  • 图像文本匹配的交叉堆叠注意力

    本文研究图像文本匹配问题，提出了一种使用交叉注意力机制的方法来发现包括图像区域和句子单词在内的全部潜在对齐，从而推断图像与文本之间的相似性，实验结果在 MS-COCO 和 Flickr30K 数据集上均表现为最先进的水平。

    Mar, 2018

  • 弱监督语义分割自监督等变注意力机制

    本文提出了一种自我监督的等变注意机制方法 (SEAM) 来解决基于图像级别弱监督学习语义分割的问题。该方法通过提出一致性规则，并利用像素相关模块 (PCM) 来处理背景信息，从而提高了实验效果。

    Apr, 2020

  • 自监督视听表示学习的协同关注网络

    本文提出了一种基于自我监督和共注意力机制的框架，通过区分具有关联性的视觉和声音信息，提出了三种不同的共注意力模块以训练神经网络，并通过测试了解了该方法的广泛和可转移性，成功地在先前的任务中取得了最先进的结果，解决了多声源场景的问题。

    Aug, 2020

  • SyCoCa: 对称化的关注屏蔽对齐的对比式字幕生成器

    当前视觉语言模型研究的基础主题是语言和视觉之间的多模态对齐。对比式字幕生成器 (CoCa) 是一种代表性方法，它将对比语言 - 图像预训练 (CLIP) 和图像字幕 (IC) 集成到统一框架中，取得了令人印象深刻的结果。本文提出了一种称为对称式对比式字幕生成器 (SyCoCa) 的方法，从全局和局部表达水平上引入图像和文本交互，以实现多模态对齐。在实验中，我们验证了所提出方法的有效性。

    Jan, 2024