ICCVMay, 2019

少样本自适应凝视估计

PDF
TL;DR本研究提出一种新的 Few-shot 自适应注视估计（FAZE）框架，其利用揭示式编码器 - 解码器架构和元学习的高度适应性目标估计器，针对少于等于 9 个样本学习人特定的注视网络，并能够通过 3 个样本实现良好表现。
gaze estimationpersonalizationfew-shot learningneural networksmeta-learning
发现论文，激发创造
  • 外观为基础的凝视追踪个性化学习

    通过介绍 SPatial Adaptive GaZe Estimator（SPAZE）, 本文提供一种对于眼部注视追踪的新解决方案，通过将个人变化建模为低维潜在参数空间，SPAZE 提供了足够的适应性，能够捕捉个人变化的范围而不容易过度拟合，并证明了其精度和可行性。

    Jul, 2018

  • 基于随机个体式对抗学习的消除外观偏差的凝视估计

    最近，外貌导向的凝视估计成功应用于计算机视觉领域，并且通过各种深度学习技术得到了显著改进。本文提出了一种名为 SAZE 的新框架，通过训练网络来推广主题的外观，达到一致的概率分布推理。使用面部 - 凝视编码器、面部身份分类器和提出的对抗性损失函数设计了 Fgen-Net。实验证明该方法的稳健性，达到了 MPIIGaze 和 EyeDiap 数据集上的最新成果，分别为 3.89 和 4.42。此外，通过使用生成模型生成的不同样式的面部图像进行进一步实验，证明了积极的推广效果。

    Jan, 2024

  • 利用异常值引导的协同适应推广注视估计

    本文提出了一种插拔式注视适应框架（PnP-GA），它是一组网络，根据离群点的指导协作学习，并通过将现有注视估计网络直接插入到 PnP-GA 中来将算法推广到新领域，从而实现目标域中的注视估计。在四个注视领域适应任务中，实验证明了该框架相对于基线系统的性能提升 36.9％，31.6％，19.4％和 11.8％，同时也胜过当前领先的注视域适应方法。

    Jul, 2021

  • 通过注视重定向合成改进少样本用户特定注视适应

    本论文主要创新点是通过合成现有的参考样本的注视重定向眼图像来改进视线适应，并提出了一个自监督的方法进行域适应，利用视线重定向来提高特定个体视线估计的性能，通过对两个公共数据集的广泛实验证明了我们的视线重新定向和视线估计框架的有效性。

    Apr, 2019

  • GazeOnce: 实时多人凝视估计

    本研究提出一种新的单阶段端到端注视估计方法，可同时预测图像中多个面孔（>10）的注视方向，并使用 MPSGaze 数据集验证了该方法的有效性和易用性，为实时应用提供支持。

    Apr, 2022

  • 一种适用于外观基准凝视估计的粗到细自适应网络

    本文提出了一种基于面部和眼睛图像的凝视估计方法，利用粗 - 细策略从面部图像中估计基本凝视方向，通过相应的眼部图像预测残差进行细化，引入 bi-gram 模型和注意力组件来适应性地获取细粒度特征，实现了 MPIIGaze 和 EyeDiap 数据集上的最优表现。

    Jan, 2020

  • 非监督式注视点估计的表征学习

    该研究提出了一种不需要注释的低维注视表示学习方法，在少于 100 个标注样本的情况下，实现了有竞争力的 few-shot 注视估计结果，并且可以应用于不同的实验数据集和注视网络预训练等方向。

    Nov, 2019

  • 通过新视角合成和特征分离来进行领域自适应全脸注视估计

    本研究提出了一个训练数据合成和注视估计模型的有效训练流程，用于无监督域自适应，包括使用单幅图像 3D 重建来扩展源域中头部姿势的范围，提出了一个自编码器网络来分离与注视相关的特征，并引入背景增强一致性损失来利用合成源域的特点，在多个目标域上进一步提高了性能。

    May, 2023

  • 基于模型的 3D 眼神跟踪在弱监督和少样本训练下的应用

    使用弱监督的眼部语义分割掩码和少量三维注视向量，结合基于 Transformer 的网络架构，提出一种新方法来预测 3D 眼部注视，取得了与基线相比约 5 度较低的角度注视误差。

    Nov, 2023

  • ELF-UA: 有效的无标签用户自适应注视估计

    在用户自适应的 3D 凝视估计中，论文提出了一种无标签数据的高效自适应模型，仅使用少量目标用户的未标记图像进行模型适应，通过应用元学习方法和领域自适应的损失函数，实现了在凝视估计中对目标用户进行个性化适应的有效方法。

    Jun, 2024