Sep, 2023

基于 Gaze 无监督主题特定对比学习条件的研究

PDF
TL;DR利用外观为基础的凝视估计具有很大潜力，通过使用单个通用摄像头作为输入设备，但是在很大程度上取决于大规模且经过良好注释的凝视数据集的可用性，这种数据集是稀缺且昂贵的。为了解决这个挑战，我们提出了一种基于对比学习的框架 ConGaze，该框架利用未标记的面部图像以无监督的方式跨主体学习通用的凝视感知表示。我们的实验证明 ConGaze 在三个公共凝视估计数据集上胜过现有的无监督学习解决方案 6.7％至 22.5％；并且在跨数据集评估中相对于基于监督学习的模型，取得了 15.1％至 24.6％的改进。
appearance-based gaze estimationcongazecontrastive learningunsupervised learninggaze representation learning
发现论文，激发创造
  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 非监督式注视点估计的表征学习

    该研究提出了一种不需要注释的低维注视表示学习方法，在少于 100 个标注样本的情况下，实现了有竞争力的 few-shot 注视估计结果，并且可以应用于不同的实验数据集和注视网络预训练等方向。

    Nov, 2019

  • 学习注视感知组合生成对抗网络

    提出了一种利用有限标记数据集生成注释面部图像的生成框架，并将该模型转移到无标记的数据域，以利用其提供的多样性，进而有效地生成符合眼神估计深度神经网络训练的内部领域图像增强和跨领域增强。

    May, 2024

  • 基于学习的新颖视角合成的全脸外貌的基于 3D 凝视估计

    本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法，利用投影匹配过程，配合掩码引导凝视估计模型和数据增强策略，显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。

    Jan, 2022

  • 注视估计的对比表示学习

    本文提出了一个基于对比学习方法的简单的凝视估计学习框架 ——GazeCLR， 其中利用多视图数据促进等价变换，并使用选定的数据增强技术进行不变性学习。实验结果表明，GazeCLR 在多个凝视估计任务和 few-shot 评估上都取得了显著的效果，并与最先进的表示学习方法相当。

    Oct, 2022

  • GazeGAN：用于凝视估计的非配对对抗图像生成

    本文提出了一种用生成对抗网络生成大型合成数据集来进行注视估计的方法，该方法在移动设备上取得了最新成果并具有跨设备泛化能力。

    Nov, 2017

  • 通过眼罩驱动的信息瓶颈学习无监督的凝视表示

    本研究提出了一种新的无监督 / 自监督凝视预训练框架，通过协同特征对比和挤压模块，强制全脸分支学习一个低维度凝视嵌入，无需凝视注释，并采用交替注视 / 不注视眼睛的屏蔽训练方案，进一步提升学习到的表示，并取得了优于无监督最新技术的性能。

    Jun, 2024

  • FreeGaze: 基于频域对比学习的资源有效的凝视估计

    FreeGaze 是一种资源高效的框架，它结合了频域注视估计和对比注视表示学习，以实现无监督的注视表示学习，并通过减轻计算负担和克服数据标签障碍来提高计算效率和精度。

    Sep, 2022

  • 弱监督的物理无约束凝视估计

    本研究针对自然场景下获取三维凝视注释的挑战进行了探讨，提出了一种基于 LAEO 标签的弱监督凝视估计算法，该算法通过训练算法和损失函数实现了可行的三维凝视监督，结果表明，这种方法对于半监督凝视估计的准确性和跨域泛化的改进方面取得了显着的进展。

    May, 2021

  • 从放射科医师的注视中学习更好的对比视图

    提出了一种基于医学专家注意力的新型数据增强方法 FocusContrast，它考虑疾病相关的异常信息，通过模仿医学专家的视觉注意力生成对比视图，可在膝关节 X 射线数据集的分类准确性上比现有的自监督学习方法如 SimCLR，MoCo 和 BYOL 提高了 4.0 ~ 7.0％。

    May, 2023