Jul, 2018

外观为基础的凝视追踪个性化学习

PDF
TL;DR通过介绍 SPatial Adaptive GaZe Estimator（SPAZE）, 本文提供一种对于眼部注视追踪的新解决方案，通过将个人变化建模为低维潜在参数空间，SPAZE 提供了足够的适应性，能够捕捉个人变化的范围而不容易过度拟合，并证明了其精度和可行性。
gaze trackingneural networkpersonal variationsspazelatent parameter space
发现论文，激发创造
  • 少样本自适应凝视估计

    本研究提出一种新的 Few-shot 自适应注视估计（FAZE）框架，其利用揭示式编码器 - 解码器架构和元学习的高度适应性目标估计器，针对少于等于 9 个样本学习人特定的注视网络，并能够通过 3 个样本实现良好表现。

    May, 2019

  • 个性化视频视线估计的时空注意力和高斯过程

    使用深度学习模型和专门的注意力模块，通过视频实现准确的注视方向预测，并且通过个性化处理和少量样本获得更高的精度。

    Apr, 2024

  • SalGaze: 使用视觉显著性个性化注视点估计

    提出 SalGaze，一种利用视觉内容中的显著性信息，无需显式用户校准，可透明地适应用户注视估计算法的框架，能够使用与标准点校准数据不同的显式视频显著性校准数据的统一框架，优于现有方法，精度提高了 24%。

    Oct, 2019

  • 基于随机个体式对抗学习的消除外观偏差的凝视估计

    最近，外貌导向的凝视估计成功应用于计算机视觉领域，并且通过各种深度学习技术得到了显著改进。本文提出了一种名为 SAZE 的新框架，通过训练网络来推广主题的外观，达到一致的概率分布推理。使用面部 - 凝视编码器、面部身份分类器和提出的对抗性损失函数设计了 Fgen-Net。实验证明该方法的稳健性，达到了 MPIIGaze 和 EyeDiap 数据集上的最新成果，分别为 3.89 和 4.42。此外，通过使用生成模型生成的不同样式的面部图像进行进一步实验，证明了积极的推广效果。

    Jan, 2024

  • 利用异常值引导的协同适应推广注视估计

    本文提出了一种插拔式注视适应框架（PnP-GA），它是一组网络，根据离群点的指导协作学习，并通过将现有注视估计网络直接插入到 PnP-GA 中来将算法推广到新领域，从而实现目标域中的注视估计。在四个注视领域适应任务中，实验证明了该框架相对于基线系统的性能提升 36.9％，31.6％，19.4％和 11.8％，同时也胜过当前领先的注视域适应方法。

    Jul, 2021

  • CUEING：一项为自动驾驶编码人类凝视的先驱工作

    该论文提出了一种自适应的方法来清洗现有的人类凝视数据集，并提出了一个健壮的卷积自我注意凝视预测模型，实验证明我们的清洗方法和模型能够显著提高 ADS 性能和泛化能力。

    May, 2023

  • 面向隐私敏感环境的视线目标预测模块化多模态架构

    本文提出了一种使用多模态线索，采用注意机制的模块化架构，以检测观察者线路中的障碍物并应用关注优先级，从而更好地实现识别和利用先验知识的方法，并在 GazeFollow 和 VideoAttentionTarget 公共数据集上展示了最先进的性能和隐私保护的竞争结果。

    Jul, 2023

  • 通过注视重定向合成改进少样本用户特定注视适应

    本论文主要创新点是通过合成现有的参考样本的注视重定向眼图像来改进视线适应，并提出了一个自监督的方法进行域适应，利用视线重定向来提高特定个体视线估计的性能，通过对两个公共数据集的广泛实验证明了我们的视线重新定向和视线估计框架的有效性。

    Apr, 2019

  • ELF-UA: 有效的无标签用户自适应注视估计

    在用户自适应的 3D 凝视估计中，论文提出了一种无标签数据的高效自适应模型，仅使用少量目标用户的未标记图像进行模型适应，通过应用元学习方法和领域自适应的损失函数，实现了在凝视估计中对目标用户进行个性化适应的有效方法。

    Jun, 2024

  • GazeOnce: 实时多人凝视估计

    本研究提出一种新的单阶段端到端注视估计方法，可同时预测图像中多个面孔（>10）的注视方向，并使用 MPSGaze 数据集验证了该方法的有效性和易用性，为实时应用提供支持。

    Apr, 2022