本文提出了一种用生成对抗网络生成大型合成数据集来进行注视估计的方法,该方法在移动设备上取得了最新成果并具有跨设备泛化能力。
Nov, 2017
本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法,利用投影匹配过程,配合掩码引导凝视估计模型和数据增强策略,显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。
Jan, 2022
本研究提出了一个训练数据合成和注视估计模型的有效训练流程,用于无监督域自适应,包括使用单幅图像 3D 重建来扩展源域中头部姿势的范围,提出了一个自编码器网络来分离与注视相关的特征,并引入背景增强一致性损失来利用合成源域的特点,在多个目标域上进一步提高了性能。
May, 2023
利用外观为基础的凝视估计具有很大潜力,通过使用单个通用摄像头作为输入设备,但是在很大程度上取决于大规模且经过良好注释的凝视数据集的可用性,这种数据集是稀缺且昂贵的。为了解决这个挑战,我们提出了一种基于对比学习的框架 ConGaze,该框架利用未标记的面部图像以无监督的方式跨主体学习通用的凝视感知表示。我们的实验证明 ConGaze 在三个公共凝视估计数据集上胜过现有的无监督学习解决方案 6.7%至 22.5%;并且在跨数据集评估中相对于基于监督学习的模型,取得了 15.1%至 24.6%的改进。
Sep, 2023
该研究提出了一种不需要注释的低维注视表示学习方法,在少于 100 个标注样本的情况下,实现了有竞争力的 few-shot 注视估计结果,并且可以应用于不同的实验数据集和注视网络预训练等方向。
Nov, 2019
本文提出了一种新颖的生成模型,能够在控制眼睛注视和头部方向角度方面达到细粒度控制,并通过在自学习中学习发现、解缠和编码这些外部变化来分离众多与外貌相关的因素,进而优化了准确性和数据下游任务,从而提高了端到端交叉数据集准确性的能力。
Oct, 2020
通过使用半监督对比学习框架,本文提出了一种新的对比损失范式,从而实现了基于注视方向的估计,该框架在使用少量带有标签的注视数据集时,可以找到泛化解决方案,即使对于未见过的人脸图像也能有良好的性能表现,与其他用于注视估计的最先进对比学习技术相比,我们的对比回归框架表现良好。
Aug, 2023
本论文提出了一种无监督注视修正的解决方案,使用 CelebAGaze 数据集及三个新模块(Gaze Correction, Gaze Animation 和 Pretrained Autoencoder)实现修正未准确注释的注视角度和头部姿势, 在生成的注视动画中使用了自编码器来保留了身份信息,相关实验证明了其优于现有的基线算法结果。
Aug, 2020
本文提出一种依靠人类凝视作为辅助信息的零样本图像分类方法,通过数据收集范式和提取判别性描述符来构建图像和凝视的兼容性函数,实现了细粒度图像分类和比基准更优秀的零样本分类结果。
Nov, 2016
本研究提出了一种使用生成对抗网络训练的方法,用于在保持外观一致、生成逼真图像的同时实现目标凝视方向的眼部图像重定向,并通过感知相似性和一致性来优化生成图像的准确性。经广泛评估,该方法在图像质量和重定向精度等方面优于现有先进技术,并且可以通过与现实数据相结合,在凝视估计任务中取得显著的性能提升。
Mar, 2019