ICCVJul, 2021

利用异常值引导的协同适应推广注视估计

PDF
TL;DR本文提出了一种插拔式注视适应框架（PnP-GA），它是一组网络，根据离群点的指导协作学习，并通过将现有注视估计网络直接插入到 PnP-GA 中来将算法推广到新领域，从而实现目标域中的注视估计。在四个注视领域适应任务中，实验证明了该框架相对于基线系统的性能提升 36.9％，31.6％，19.4％和 11.8％，同时也胜过当前领先的注视域适应方法。
neural networksgaze estimationadaptationensemble learningdomain generalization
发现论文，激发创造
  • 通过新视角合成和特征分离来进行领域自适应全脸注视估计

    本研究提出了一个训练数据合成和注视估计模型的有效训练流程，用于无监督域自适应，包括使用单幅图像 3D 重建来扩展源域中头部姿势的范围，提出了一个自编码器网络来分离与注视相关的特征，并引入背景增强一致性损失来利用合成源域的特点，在多个目标域上进一步提高了性能。

    May, 2023

  • 通过嵌入预测一致性进行域自适应凝视估计

    本文提出一种无监督学习的方法，采用 embedding representation 及 prediction consistency 来消除 inter-personal diversity 对 gaze estimation 的影响，设计了 Domain Adaptation Gaze Estimation Network (DAGEN)，在 MPIIGaze 和 EYEDIAP 数据集上取得了最先进的结果。

    Nov, 2020

  • MPIIGaze: 实际场景数据集与深度外貌取向估计

    我们提出了 MPIIGaze，包括 213659 个人的实验数据，并对现有的三个数据集进行了广泛的评估，研究了目标视线范围、光照条件和面部外观变化等关键挑战，提出了第一种深度外观估计方法 GazeNet，并将平均误差从 13.9 度提高到 10.8 度，这是当前技术水平的改进。

    Nov, 2017

  • 少样本自适应凝视估计

    本研究提出一种新的 Few-shot 自适应注视估计（FAZE）框架，其利用揭示式编码器 - 解码器架构和元学习的高度适应性目标估计器，针对少于等于 9 个样本学习人特定的注视网络，并能够通过 3 个样本实现良好表现。

    May, 2019

  • 野外无监督注视修正和动画的双修补模型

    本论文提出了一种无监督注视修正的解决方案，使用 CelebAGaze 数据集及三个新模块（Gaze Correction， Gaze Animation 和 Pretrained Autoencoder）实现修正未准确注释的注视角度和头部姿势， 在生成的注视动画中使用了自编码器来保留了身份信息，相关实验证明了其优于现有的基线算法结果。

    Aug, 2020

  • 非监督式注视点估计的表征学习

    该研究提出了一种不需要注释的低维注视表示学习方法，在少于 100 个标注样本的情况下，实现了有竞争力的 few-shot 注视估计结果，并且可以应用于不同的实验数据集和注视网络预训练等方向。

    Nov, 2019

  • 通过注视重定向合成改进少样本用户特定注视适应

    本论文主要创新点是通过合成现有的参考样本的注视重定向眼图像来改进视线适应，并提出了一个自监督的方法进行域适应，利用视线重定向来提高特定个体视线估计的性能，通过对两个公共数据集的广泛实验证明了我们的视线重新定向和视线估计框架的有效性。

    Apr, 2019

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 使用生成对抗网络实现单目真实感凝视重定向

    本研究提出了一种使用生成对抗网络训练的方法，用于在保持外观一致、生成逼真图像的同时实现目标凝视方向的眼部图像重定向，并通过感知相似性和一致性来优化生成图像的准确性。经广泛评估，该方法在图像质量和重定向精度等方面优于现有先进技术，并且可以通过与现实数据相结合，在凝视估计任务中取得显著的性能提升。

    Mar, 2019

  • PureGaze：用于通用注视估计的纯净注视特征

    本文提出了一种针对凝视估计中的跨领域问题的域通用化方法，通过凝视特征净化，消除光照和身份等与凝视无关的因素，不仅极大地改善了我们的基准模型，还直接显著提高了现有凝视估计方法的性能。

    Mar, 2021