全卷积自相似网络用于密集语义对应

Feb, 2017

全卷积自相似网络用于密集语义对应

FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence

Seungryong Kim, Dongbo Min, Bumsub Ham, Sangryul Jeon, Stephen Lin...

TL;DR本研究提出了一种基于全卷积自相似性（FCSS）的描述符，用于密集的语义对应。与现有的基于 CNN 的描述符不同，FCSS 是因其 LSS-based 结构本质上不敏感于类内外观变化，同时保持了深度神经网络的精确定位能力。通过在拟议网络中以端到端和多尺度的方式联合学习局部结构的抽样模式和自相似性度量。本研究建议利用现有图像数据集中提供的对象候选先验和对象对之间的一致性，以实现弱监督学习。实验表明，在各种基准测试中，FCSS 胜过传统手工制作的描述符和基于 CNN 的描述符。

Abstract

We present a descriptor, called fully convolutional self-similarity (FCSS), for dense semantic correspondence. To robustly match points among different instances within the same object class, we formulate FCSS us

fully convolutional self-similarity dense semantic correspondence local self-similarity deep neural networks weakly-supervised learning

发现论文，激发创造

基于目标的稀疏潜在特征的全卷积网络的概率相似性证据

利用神经网络进行相似性分析是一种理解和分类各个领域中复杂模式的强大技术。本研究探讨了完全卷积网络（FCNs）生成的潜在信息在相似性分析中的应用，特别是用于估计二维图片中对象的视觉相似度。这一分析方案包括两个步骤：（1）从经过训练的 FCN 中提取和转换每个二维对象的特征模式，（2）通过模糊推理来识别最相似的模式。通过考虑分析中潜在变量的重要性，可以进一步增强第二步，并提供有关使用基于神经网络的相似性分析有效地辨别数据模式的好处和挑战的宝贵见解。

Jul, 2023

通用对应网络

本文提出了一种深度学习框架，用于准确的视觉对应，并证明了其在几何和语义匹配中的有效性，提出了一种卷积空间变换器来模仿传统特征（如 SIFT）中的补丁归一化，广泛的 KITTI，PASCAL 和 CUB-2011 数据集的实验表明，与使用手工构建或学习特征的先前作品相比，我们的特征具有显着优势。

Jun, 2016

SCNet：学习语义对应性

本文提出了 SCNet，一种基于卷积神经网络的语义对应的几何合理模型，利用区域提议实现匹配原语，并明确将几何一致性纳入其损失函数中，该方法在多项基准测试中均表现优异。

May, 2017

动态原型卷积网络用于小样本语义分割

针对 few-shot 语义分割的挑战，该论文提出了一种基于动态原型卷积网络 (DPCN) 的解决方案，其中动态卷积模块 (DCM) 从支持前景生成动态内核，而支持激活模块 (SAM) 和特征过滤模块 (FFM) 则一起为查询图像提供丰富的背景信息，实现了更准确的 few-shot 语义分割。DPCN 在 1-shot 和 5-shot 设置下均表现出优越性能。

Apr, 2022

利用对象级先验学习语义对应关系

研究使用二进制前景掩码并经过合成几何变形的图像来训练卷积神经网络（CNN），以解决语义对应问题，提出了一种新的 CNN 体系结构（称为 SFNet），其实现了这一想法，并展示了在标准基准测试中明显优于现有技术的实验结果。

Nov, 2019

SFNet: 学习物体感知的语义对应性

通过使用二进制前景蒙版和几何变形训练卷积神经网络（CNN）实现语义对应的密集流场，提出了一种新的 CNN 框架 SFNet，并在各项基准测试中表现出比现有方案更好的泛化性能。

Apr, 2019

邻域共识网络

本研究介绍了一种基于卷积神经网络的密集对应关系匹配方法，使用邻域一致性匹配模式在两幅图像所有可能的对应关系的 4D 空间中鉴别一组具有空间一致性的对应关系。该方法不需要全局几何模型，只需要弱监督的成对图像匹配信息进行训练。最后，该方法在类别匹配和实例级匹配任务中均取得了最优结果。

Oct, 2018

使用局部对比损失的自监督学习，用于检测和语义分割

提出了一种自监督学习方法，适用于对象检测和语义分割等半全局任务，通过在训练期间最小化像素级的本地对比损失（LC-loss），在自学习特征中强制实现对变换后的同一图像的相应图像位置之间的本地一致性，可将 LC-loss 添加到现有的自监督学习方法中，并在 COCO、PASCAL VOC 和 CityScapes 数据集上评估 SSL 方法，结果比现有的先进自监督学习方法在 COCO 对象检测、PASCAL VOC 检测和 CityScapes 分割等任务上分别提高了 1.9％，1.4％和 0.6％。

Jul, 2022

语义感知细粒度对应

本文提出了一种语义感知的细粒度对应方法，该方法融合了基于图像和基于像素的自监督学习方法来提高任务的性能，在视频对象分割、人体姿态跟踪和人体部分跟踪等视觉对应任务上超过了以往基于卷积神经网络的最新自监督方法。

Jul, 2022

学习空间相似度分布用于小样本目标计数

我们提出了一种网络学习的空间相似度分布 (SSD) 方法，用于少样本目标计数，该方法在保留样本特征的空间结构的同时，计算查询特征与样本特征之间的四维相似度金字塔，从而捕捉了四维相似度空间中每个点的完整分布信息，同时利用相似性金字塔上的高效中心轴四维卷积将不同的相似度分布映射到不同的预测密度值，以获得准确的计数。我们还引入了特征交叉增强 (FCE) 模块来改进查询和样本特征的准确性，该方法在多个数据集上表现优于现有方法，包括 FSC-147 和 CARPK。

May, 2024