May, 2023

基于外观的多视角凝视估计旋转约束交叉视图特征融合

PDF
TL;DR提出了一种多视角注视估计任务并跨视图特征融合的方法，通过使用相对旋转矩阵来训练网络提取可旋转的特征表示，并自适应地通过堆叠的融合模块融合这些特征，显著提高了模型在未见头部姿势下的泛化性能。
gaze estimationmulti-viewfeature fusiongeneralizationrelative rotation
发现论文，激发创造
  • 三维人体姿态估计的跨视角融合

    该研究提出了一种基于多视角几何先验的方法，通过逐步改进三维姿态的准确性来从多视角图像中恢复绝对三维人体姿态。

    Sep, 2019

  • 基于几何引导的跨视角 Transformer 提高 3 自由度地对卫星相机定位精度

    本篇论文提出了一种增加地面摄像头位置和方向准确度的方法，通过估计地平线图像和卫星图像之间的相对旋转和平移，设计一种几何引导的交叉视图转换器，构建一个强大的神经姿态优化器来估计它们之间的相对旋转，通过空间相关性生成车辆位置的概率图，并明显优于现有技术。

    Jul, 2023

  • 多视角快速且鲁棒的多人 3D 姿势估计

    本文介绍了一种多人 3D 姿态估计的快速、鲁棒方法，使用多方式匹配算法来解决在噪声和不完整的 2D 姿态预测中查找跨视角对应关系的主要挑战，并结合几何和外观提示进行跨视角匹配。

    Jan, 2019

  • 实现超过 100 FPS 的多人 3D 姿态估计的跨视图跟踪

    本论文提出了一种基于多个校准相机视角的、面向实时应用的多人三维姿态估计解决方案，利用视频中的时间一致性直接在三维空间中匹配二维输入与三维姿态，通过跨视图多人跟踪迭代地更新姿态，从而提高了准确性和效率，并介绍了新的大规模多人数据集。

    Mar, 2020

  • 通过跨视角匹配实现联合位置和方向估计

    本文提出了一种动态相似度匹配网络，通过使用极坐标变换来大致对齐空中图像，学习地面和变换后空中图像的深度特征，并通过计算跨视图特征之间的相关性来获得定位时的方向，从而提高了十字视图地理定位准确性。

    May, 2020

  • CrossGaze：野外三维凝视估计的强大方法

    CrossGaze 是一个强大的注视估计基准，利用计算机视觉架构和基于注意力的模块，通过集成并适应于 3D 注视估计任务的已建立模型，实现了对非受限环境下注视方向的准确预测，并在 Gaze360 基准测试中展现出优于多种最新方法的性能，均方角误差达到 9.94 度。该模型为未来的注视估计研究与发展提供了坚实的基础，为实际场景中的准确注视预测铺平了道路。

    Feb, 2024

  • 轻量级头部动作无关眼球追踪

    本文提出了一种新的基于卷积神经网络的远程注视跟踪方法，该方法通过转移学习、使用合成数据等技术来提高检测准确率并解决了头部姿态变化的问题。

    Apr, 2018

  • 基于学习的新颖视角合成的全脸外貌的基于 3D 凝视估计

    本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法，利用投影匹配过程，配合掩码引导凝视估计模型和数据增强策略，显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。

    Jan, 2022

  • TransFusion：基于 Transformer 的跨视角三维人体姿态融合估计

    该研究论文提出了一种可应用于多视角 3D 姿态估计中的变换器框架，该框架可以直接整合来自不同视角的信息，以改善 2D 预测器的性能。同时，研究人员还提出了一个名为 Epipolar field 的概念，它可以将 3D 位置信息编码到变换器模型中。实验证明，该方法更加高效，与其他融合方法相比有一致的改进。

    Oct, 2021

  • 利用外貌和形状线索的 3D 凝视估计的循环卷积神经网络

    本论文使用多模态卷积神经网络在远程摄像机中完成了独立于人物和头部姿态的三维凝视估计。通过将人脸，眼睛区域和面部标志作为神经网络中的单个流来估计静态图像中的凝视。随后，利用凝视的动态特性，将所有帧的学习特征馈送到多到一循环模块，以预测最后一帧的三维凝视向量，其在多种头部姿态和凝视方向上获得了显著的改进。

    May, 2018