Jun, 2019

RF-Net：基于感受野的端到端图像匹配网络

PDF
TL;DR本文提出一种新的端到端可训练的匹配网络 RF-Net，基于感受野计算图像之间的稀疏对应关系。通过引入感受野来构建特征图，增强关键点检测效果，同时加入邻居掩码来提高描述符训练的稳定性。我们在公开数据集 HPatches 上训练并与其他方法进行了对比，实验结果表明 RF-Net 在多个基准数据集上优于现有的最先进方法。
end-to-end trainable matching networkreceptive fieldsparse correspondencefeature extraction pipelinehpatches
发现论文，激发创造
  • 准确快速物体检测的感受野块网络

    本文提出了一种使用手工机制来强化轻量级特征的快速准确检测器，通过在轻量模型特征增强方面受视觉系统中感受野结构的启发，提出了一种新的 RF Block 模块来增强特征的可区分性和鲁棒性，并在 SSD 顶部组装 RFB，构建了 RFB 网络检测器，实验证明 RFB 网络能够在保持实时运行速度的情况下达到先进的深度检测器的性能水平。

    Nov, 2017

  • RF-Next：卷积神经网络高效感受野搜索

    本研究提出了一种全局到本地的搜索方案，探索更好的感受野组合以提高任务性能，通过将感受野搜索插入不同的模型中，如对象检测、实例分割等，提高了模型性能，源代码公开可用。

    Jun, 2022

  • RFN-Nest：一种红外与可见光图像端到端残差融合网络

    本研究为解决图像融合设计中的策略选择难题，提出一种基于深度学习的残差融合网络（RFN-Nest）以及两种新的损失函数，并通过创新的两阶段训练策略训练模型。实验结果表明，相较于现有方法，该端到端融合网络在主观和客观评估中表现更佳。

    Mar, 2021

  • FMRT：学习准确特征匹配的调和变换器

    本研究提出了一种名为 Feature Matching with Reconciliatory Transformer（FMRT）的新型 Transformer-based 检测器自由方法，它能够自适应地调解不同特征和多个感受野，并利用并行网络来实现可靠的位置编码，实验表明 FMRT 在多个基准测试中表现出非凡的性能。

    Oct, 2023

  • 跨光谱图像块匹配的关系表示学习网络

    通过创新的关系表示学习方法，同时关注个体内在特征和图像补丁特征之间的关系，构建了一种轻量级的关系表示学习网络（RRL-Net），包括自动编码器、特征交互学习模块、多维全局到局部注意力机制以及基于注意力的轻量级特征提取网络。经过大量实验验证，该网络在多个公共数据集上取得了最先进的性能。

    Mar, 2024

  • 揭开 U-Net 模型中感受野尺寸对医学图像分割效果的神秘

    医学图像分割是医疗应用中关键的任务，本研究探讨了 U-Net 和 Attention U-Net 架构中的感受野（RF）大小及其对模型性能的影响，研究了 RF 大小与感兴趣区域特征、模型性能以及计算成本之间的关系，提出了表示给定网络层的理论感受野（TRF）的数学符号，并提出了两个新的度量指标 - 有效感受野（ERF）率和对象率来定量 ERF 内显著贡献像素的比例和分割对象相对于 TRF 大小的大小比。结果表明，存在一个最佳的 TRF 大小，成功地在捕获更广泛的全局背景信息和保持计算效率之间取得平衡，从而优化模型性能。注意力机制的 U-Net 模型始终优于基本 U-Net 模型，无论 TRF 大小如何。这些新颖的发现为开发用于医学成像的更高效 U-Net 架构提供了宝贵资源，并为未来的研究铺平了道路。还开发了一种计算 U-Net（和 Attention U-Net）模型的 TRF 的工具，并为给定模型和数据集建议了适当的 TRF 大小。

    Jun, 2024

  • 神经马尔可夫随机场用于立体匹配

    基于深度学习的神经 MRF 模型在立体匹配任务中取得了显著的性能提升，通过在潜在函数和信息传递方面应用数据驱动的神经网络，该模型有效地解决了传统立体方法中的建模限制和精度问题，并借助变分推断理论保留了立体 MRF 模型的图感知特征。对于高分辨率图像进行可行的推理，并通过适应性地剪枝视差搜索空间的 Disparity Proposal Network (DPN)，使得该方法在 KITTI 2012 和 2015 榜单上名列第一，且运行时间不超过 100 毫秒。与传统的全局方法相比，本方法的性能显著提升，例如在 KITTI 2015 数据集上将 D1 指标降低了 50%，并且具有强大的跨领域泛化能力和恢复锐利边缘的特点。详细代码请参见此链接。

    Mar, 2024

  • 完美匹配：探索 NeRF 特征进行视觉定位

    本研究提出使用神经辐射场（NeRF）作为视觉定位的场景表示，通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置，引入了 NeRFMatch 作为高级的 2D-3D 匹配函数，并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。

    Mar, 2024

  • 从图像中学习本地特征的 LF-Net

    本研究提出了一种新颖的深度架构和训练策略，利用图像集合学习本地特征流水线，无需人工监督；通过利用深度和相对相机姿态提示创建一个虚拟目标，并在一个图像上限制网络，同时保留不可区分性来优化网络。我们在室内和户外两个数据集上进行训练，并在稀疏特征匹配方面的模型性能表现优于现有技术，同时对 QVGA 图像运行速度达到 60+ fps。

    May, 2018

  • RFC-Net：在有限计算成本下学习医学图像分割的高分辨率全局特征

    本文介绍了一种松散稠密连接策略和采用 m 向树结构的可感受野链路网络 (RFC-Net)，用于学习高分辨率全局特征。实验证明 RFC-Net 在 Kvasir 和 CVC-ClinicDB 基准测试中对息肉分割取得了最先进的性能。

    Feb, 2023