May, 2018

MONET: 多视角半监督极线分歧关键点检测

PDF
TL;DR本文提出了一种半监督学习框架 MONET，用于使用多视图图像流检测关键点，在具有挑战性的获取大规模标注数据的非人类物种中，我们考虑使用多视图几何可用于自监督非标记数据，通过制定称为极线离散度的新的可微分表示来解决表示不匹配，并使用立体校正来最小化极线离散度，以便能够本文演示的多种物种的关键点定位。
semi-supervised learningkeypoint detectormultiview image streamsepipolar constraintstereo rectification
发现论文，激发创造
  • 多视角配准监督

    本论文提出一个半监督学习框架，利用多视图图像流训练关键点检测器，以弥补有限标注数据的不足。作者使用多视图几何和视觉跟踪的互补关系提供三种监督信号，使用未标记的数据训练网络，证明其优于 DeepLabCut 等现有的关键点检测器，特别适用于猴、狗、老鼠等非人类物种的关键点检测。

    Nov, 2018

  • EpO-Net: 基于密集轨迹的几何约束在运动显著性中的应用

    利用多视角几何约束和轨迹极线距离识别背景和前景，结合光流和输入 - 丢失机制提出了一种有效的运动网络，与先前的方法相比在 DAVIS-2016、2017 和 Segtrackv2 数据集上均获得了更好的效果。

    Sep, 2019

  • 使用多视角关键点对应估计单目图像中的物体姿态

    利用物体分类内部几何规律的数据驱动姿态估计方法。首先，从 2D RGB 图像学习物体部分的姿态不变局部描述符。将这些描述符与来自固定３D 模板的关键点结合使用，生成给定单眼实际图像的关键点对应图。最后，使用这些关键点对应图，预测物体的３D 姿态。该方法在多个真实环境的视角估计数据集，如 Pascal3D + 与 ObjectNet3D 上的表现达到最佳水平，并且我们公开了所使用方法的代码以鼓励再生研究。

    Sep, 2018

  • SCENES: 用极线监督进行子像素对应估计

    从两个或多个视图中提取场景的点对应是一个基本的计算机视觉问题，对于相对相机位姿估计和运动结构具有特殊重要性。我们通过使用对应于传递线上的假设匹配来放宽已有模型需要的先验知识约束，并提出了一种新颖的引导方法，从而无需真实的三维结构信息即可对模型进行微调，并在新数据上获得最先进的结果。

    Jan, 2024

  • 双视图胜过单视图：多视一致性下的单目三维姿态估计

    通过使用多视角数据对单目人体姿态估计模型进行微调，引入新的一致性损失函数，提升性能，从而实现对特定应用定制模型的实用和经济有效解决方案。

    Nov, 2023

  • EpiDiff：通过局部的对极约束扩散增强多视角合成

    通过将轻量级的极线注意力块插入冻结扩散模型，EpiDiff 提出了一种局部交互多视角扩散模型，实现了对单一图像条件下的三维网格的快速生成，并在生成速度、泛化能力和质量方面具有优势。

    Dec, 2023

  • 当极线约束遇上多视点立体的非局部算子

    应用非局部特征增强和基于双线搜索的 Transformer 方法改进多视角立体视觉的特征匹配，并在学习式 MVS 基线 ET-MVSNet 中加入 Epipolar Transformer 技术，提高了重建性能。

    Sep, 2023

  • 基于多视角几何的拥挤场景多人三维姿态估计

    本文提出了一种基于图模型和最大后验估计的多人跨视角估计的方法，旨在解决人体关节匹配和模型鲁棒性的问题，并在四个基准数据集上证明了该方法的有效性和优越性。

    Jul, 2020

  • 使用极线时空网络的多视角深度估计

    本文提出了一种针对多视角深度估计的新方法，使用 Epipolar 时空变换器和混合专家模型，实现与 SOTA 方法相比更高的估计精度和速度。

    Nov, 2020

  • MVDepthNet: 实时多视角深度估计神经网络

    本文提出 MVDepthNet，在多视图深度估计中编码多视图观察信息，并结合参考图像使用编码器 - 解码器网络生成深度图，并在单目密集映射系统中应用，实现了高效准确的深度图生成。

    Jul, 2018