RIDE: 内窥镜的自监督学习旋转等变关键点检测和不变描述

Sep, 2023

RIDE: 内窥镜的自监督学习旋转等变关键点检测和不变描述

RIDE: Self-Supervised Learning of Rotation-Equivariant Keypoint Detection and Invariant Description for Endoscopy

Mert Asim Karaoglu, Viktoria Markova, Nassir Navab, Benjamin Busam, Alexander Ladikos

TL;DR基于学习的方法 RIDE 在内窥镜图像中实现了旋转均变的检测和不变描述，无需手动标记训练数据，在匹配和相对位姿估计任务中表现突出，并在手术组织跟踪方面具有竞争力的得分。

Abstract

Unlike in natural images, in endoscopy there is no clear notion of an up-right camera orientation. Endoscopic videos therefore often contain large rotational motions, which require keypoint detection and description algorithms to be robust to these conditions. While most classical meth

endoscopy rotation-equivariant detection invariant description learning-based methods ride

发现论文，激发创造

自监督等变学习用于定向关键点检测

本文提出了一种使用旋转卷积神经网络的自监督学习框架，通过生成的图像对和直方图来训练密集方向对准损失，从而学习检测具有鲁棒性的定向关键点，并在图像匹配和相机姿态估计基准测试中表现出优异的性能。

Apr, 2022

学习旋转等变特征实现视觉对应

本实验引入自监督学习框架，使用群等变 CNN 提取旋转不变的局部特征，通过群对齐技术实现旋转不变性，并通过对比描述符损失和方向对齐损失训练来得到具有鲁棒性的局部特征描述符，表现出在不同环境下的高精度匹配结果，并在关键点匹配和相机姿态估计任务中显示出有竞争力的结果。

Mar, 2023

无监督学习有效的等变三维描述符

本文介绍了一种使用深度学习模式进行三维形状描述子学习的方法，在未定向输入数据的情况下创建坚固有力的旋转等变表示，并在测试时定义一个良好的规范方向。

Sep, 2019

RoRD: 旋转鲁棒的特征描述符和正交视图用于局部特征匹配

本文介绍了一种使用数据增强和正交视角投影学习不变性描述符的新框架，通过旋转保角本质的数据增强学习旋转不变性的本地描述符，并通过一种对特征匹配方法进行改进的技术以及新的自定义数据集进行了验证，在包括姿势估计和视觉位置识别等关键任务上提供了实用性能量的性能表现。

Mar, 2021

旋转 - 平移等变卷积网络：应用于组织病理图像分析

本文提出一种框架，通过引入 SE（2）-group 卷积层在卷积神经网络中编码 SE（2）特殊欧几里得运动群的几何结构，实现了平移和旋转等变性。该结构可以学习具有离散定向维度的特征表示，并确保其输出在离散旋转集下具有不变性。在三种不同的组织病理图片分析任务（有丝分裂检测，细胞核分割和肿瘤分类）上，该框架取得了一致的性能提高。

Feb, 2020

鱼眼和透视图像自监督兴趣点检测和描述

本文通过自监督学习的方法针对鱼眼和投影图像混合的情况，研究关键点检测和匹配问题，提出了一种训练兴趣点检测器和描述符网络的方法，并证明了目前的方法不是最优解，提出的方法是最有效的。

Jun, 2023

学习如何在内窥镜视频中稳健地估计相机姿态

该研究提出一种基于双目内窥镜深度估计和光流的深度声明网络，通过减小两个几何损失优化相机姿态估计，并且引入了两个自适应的像素权重映射来平衡贡献，实现在挑战性的内窥镜手术场景中更加鲁棒的相机姿态估计，具有推进微创外科领域相关任务（如 SLAM 或 3D 重建）的研究意义。

Apr, 2023

S-TREK: 顺序平移旋转等变特征点用于局部特征提取

该研究介绍了 S-TREK，一种新颖的局部特征提取器，它将深度关键点检测器（通过设计具有平移和旋转等价性）与轻量级的深度描述器提取器相结合。我们通过受强化学习启发的框架来训练 S-TREK 关键点检测器，利用顺序操作来最大化与关键点可重复性直接相关的奖励。我们的描述符网络通过 “检测，然后描述” 方法进行训练，在仅对已训练的检测器选择的位置评估描述符损失。多个基准测试的大量实验证实了我们提出方法的有效性，S-TREK 在重复性和恢复位姿质量方面通常优于其他最先进的方法，特别是在处理平面内旋转时。

Aug, 2023

端到端学习鲁棒姿态 3D 匹配的关键点检测器和描述符

本论文提出了一种基于端到端学习框架的关键点检测及其表示的方法，以适应于三维深度地图或扫描，通过采样相应的区域提案实现正负样本的自动获取，并在多个基准数据集上进行匹配实验，表明该方法相对于现有方法具有明显的改进。

Feb, 2018

基于视觉的神经外科导航：无监督定位和相机姿态预测

基于解剖识别的深度学习方法，通过无监督学习从手术视频中构建手术路径，从而解决内窥镜手术中由于缺乏可区分的纹理和地标以及内窥镜设备的局限性（如有限的视野和光照条件）所带来的定位问题。

May, 2024