Jan, 2024

基于随机个体式对抗学习的消除外观偏差的凝视估计

PDF
TL;DR最近，外貌导向的凝视估计成功应用于计算机视觉领域，并且通过各种深度学习技术得到了显著改进。本文提出了一种名为 SAZE 的新框架，通过训练网络来推广主题的外观，达到一致的概率分布推理。使用面部 - 凝视编码器、面部身份分类器和提出的对抗性损失函数设计了 Fgen-Net。实验证明该方法的稳健性，达到了 MPIIGaze 和 EyeDiap 数据集上的最新成果，分别为 3.89 和 4.42。此外，通过使用生成模型生成的不同样式的面部图像进行进一步实验，证明了积极的推广效果。
appearance-based gaze estimationdeep learning techniquesstochastic subject-wise adversarial gaze learning (saze)face generalization network (fgen-net)generalization effect
发现论文，激发创造
  • 少样本自适应凝视估计

    本研究提出一种新的 Few-shot 自适应注视估计（FAZE）框架，其利用揭示式编码器 - 解码器架构和元学习的高度适应性目标估计器，针对少于等于 9 个样本学习人特定的注视网络，并能够通过 3 个样本实现良好表现。

    May, 2019

  • 通过新视角合成和特征分离来进行领域自适应全脸注视估计

    本研究提出了一个训练数据合成和注视估计模型的有效训练流程，用于无监督域自适应，包括使用单幅图像 3D 重建来扩展源域中头部姿势的范围，提出了一个自编码器网络来分离与注视相关的特征，并引入背景增强一致性损失来利用合成源域的特点，在多个目标域上进一步提高了性能。

    May, 2023

  • GazeGAN：用于凝视估计的非配对对抗图像生成

    本文提出了一种用生成对抗网络生成大型合成数据集来进行注视估计的方法，该方法在移动设备上取得了最新成果并具有跨设备泛化能力。

    Nov, 2017

  • 基于 Gaze 无监督主题特定对比学习条件的研究

    利用外观为基础的凝视估计具有很大潜力，通过使用单个通用摄像头作为输入设备，但是在很大程度上取决于大规模且经过良好注释的凝视数据集的可用性，这种数据集是稀缺且昂贵的。为了解决这个挑战，我们提出了一种基于对比学习的框架 ConGaze，该框架利用未标记的面部图像以无监督的方式跨主体学习通用的凝视感知表示。我们的实验证明 ConGaze 在三个公共凝视估计数据集上胜过现有的无监督学习解决方案 6.7％至 22.5％；并且在跨数据集评估中相对于基于监督学习的模型，取得了 15.1％至 24.6％的改进。

    Sep, 2023

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 使用生成对抗网络实现单目真实感凝视重定向

    本研究提出了一种使用生成对抗网络训练的方法，用于在保持外观一致、生成逼真图像的同时实现目标凝视方向的眼部图像重定向，并通过感知相似性和一致性来优化生成图像的准确性。经广泛评估，该方法在图像质量和重定向精度等方面优于现有先进技术，并且可以通过与现实数据相结合，在凝视估计任务中取得显著的性能提升。

    Mar, 2019

  • 基于外观的注视估计，使用深度神经网络增强的合成图像

    使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

    Nov, 2023

  • 基于学习的新颖视角合成的全脸外貌的基于 3D 凝视估计

    本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法，利用投影匹配过程，配合掩码引导凝视估计模型和数据增强策略，显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。

    Jan, 2022

  • 外观为基础的凝视追踪个性化学习

    通过介绍 SPatial Adaptive GaZe Estimator（SPAZE）, 本文提供一种对于眼部注视追踪的新解决方案，通过将个人变化建模为低维潜在参数空间，SPAZE 提供了足够的适应性，能够捕捉个人变化的范围而不容易过度拟合，并证明了其精度和可行性。

    Jul, 2018

  • 一种适用于外观基准凝视估计的粗到细自适应网络

    本文提出了一种基于面部和眼睛图像的凝视估计方法，利用粗 - 细策略从面部图像中估计基本凝视方向，通过相应的眼部图像预测残差进行细化，引入 bi-gram 模型和注意力组件来适应性地获取细粒度特征，实现了 MPIIGaze 和 EyeDiap 数据集上的最优表现。

    Jan, 2020