CVPRMay, 2021

弱监督的物理无约束凝视估计

PDF
TL;DR本研究针对自然场景下获取三维凝视注释的挑战进行了探讨，提出了一种基于 LAEO 标签的弱监督凝视估计算法，该算法通过训练算法和损失函数实现了可行的三维凝视监督，结果表明，这种方法对于半监督凝视估计的准确性和跨域泛化的改进方面取得了显着的进展。
gaze estimationweakly-supervised learninghuman interactionsactivity labelsloss functions
发现论文，激发创造
  • 基于模型的 3D 眼神跟踪在弱监督和少样本训练下的应用

    使用弱监督的眼部语义分割掩码和少量三维注视向量，结合基于 Transformer 的网络架构，提出一种新方法来预测 3D 眼部注视，取得了与基线相比约 5 度较低的角度注视误差。

    Nov, 2023

  • Gaze360: 野外物理无约束凝视估计

    该研究提供了 Gaze360 数据集和方法，可以在不受限制的图像中进行强大的三维凝视估计，通过时间信息扩展了现有模型，直接输出凝视不确定性的评估，并展示了在不同的凝视基准数据集上推广的性能，最后，在超市环境中应用该模型可用于评估客户的注意力。

    Oct, 2019

  • 野外多视角图像下的弱监督 3D 人体姿态学习

    本文提出一种基于弱监督方式，利用多视角数据进行 3D 人体姿势估计的学习框架，包括利用 2.5D 表示法的目标函数，经过测试在两个大规模数据集上达到了半监督 / 弱监督方法的最佳表现。

    Mar, 2020

  • 非监督式注视点估计的表征学习

    该研究提出了一种不需要注释的低维注视表示学习方法，在少于 100 个标注样本的情况下，实现了有竞争力的 few-shot 注视估计结果，并且可以应用于不同的实验数据集和注视网络预训练等方向。

    Nov, 2019

  • 走向野外三维人体姿态估计：一种弱监督方法

    本文提出了一种混合 2D 和 3D 标签的深度神经网络，通过弱监督迁移学习的方法，将控制实验室环境下的 3D 姿态标签转移到野外图像，使用共享表示直接训练完成增强的 2D 姿态估计子网络和 3D 深度回归子网络，并引入 3D 几何约束来规范 3D 姿态预测，以在无底深度标签的情况下提高准确度。该方法在 2D 和 3D 基准测试中均取得了优异的结果。

    Apr, 2017

  • 多层次视觉引导的弱监督 3D 目标检测

    对于弱监督的三维物体检测任务，本文提出了一种框架来研究如何在无需任何三维标签的情况下利用二维和三维领域之间的约束，通过三种视角的视觉数据建立二维和三维领域之间的关联。实验证明，在无需使用任何三维标签的情况下，该方法在 KITTI 数据集上取得了与最先进方法相媲美的性能。

    Dec, 2023

  • 相对论：弱监督数据下的单目三维人体姿态估计

    通过弱监督学习和人群注释者提供的深度相对估计信号，我们提出一种 3D 人体姿势估计算法，用于只在 2D 输入图像中学习。结果竞争力优于目前现有算法，可为在未经过精心控制的现实世界中进行 3D 姿势估计开辟道路。

    May, 2018

  • 野外无监督单目 3D 人体姿态估计 CanonPose

    本文提出了一种自我监督的方法，利用未标注的多视角数据学习单图像三维姿态估计器，通过多视角一致性约束将观察到的二维姿态分离成基础的三维姿态和相机旋转，并且提出了新的、无偏的重建目标函数，跨视角和训练样本混合信息。该方法在两个基准数据集（Human3.6M 和 MPII-INF-3DHP）和野外 SkiPose 数据集上进行了评估。

    Nov, 2020

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 无监督几何感知表示用于三维人体姿态估计

    本文提出使用多视角图像而无需注释，来学习一个具有几何感知能力的身体表示，通过使用该身体表示，我们的方法在仅使用少量标记数据的情况下，显著优于完全监督的方法，并且在使用仅 1% 标记数据时，也优于其他半监督方法。

    Apr, 2018