PureGaze:用于通用注视估计的纯净注视特征
我们提出了MPIIGaze,包括213659个人的实验数据,并对现有的三个数据集进行了广泛的评估,研究了目标视线范围、光照条件和面部外观变化等关键挑战,提出了第一种深度外观估计方法GazeNet,并将平均误差从13.9度提高到10.8度,这是当前技术水平的改进。
Nov, 2017
本论文主要创新点是通过合成现有的参考样本的注视重定向眼图像来改进视线适应,并提出了一个自监督的方法进行域适应,利用视线重定向来提高特定个体视线估计的性能,通过对两个公共数据集的广泛实验证明了我们的视线重新定向和视线估计框架的有效性。
Apr, 2019
本文提出一种无监督学习的方法,采用embedding representation及prediction consistency来消除inter-personal diversity对gaze estimation的影响,设计了Domain Adaptation Gaze Estimation Network(DAGEN),在MPIIGaze和EYEDIAP数据集上取得了最先进的结果。
Nov, 2020
本文提出了一种插拔式注视适应框架(PnP-GA),它是一组网络,根据离群点的指导协作学习,并通过将现有注视估计网络直接插入到PnP-GA中来将算法推广到新领域,从而实现目标域中的注视估计。在四个注视领域适应任务中,实验证明了该框架相对于基线系统的性能提升36.9%,31.6%,19.4%和11.8%,同时也胜过当前领先的注视域适应方法。
Jul, 2021
FreeGaze是一种资源高效的框架,它结合了频域注视估计和对比注视表示学习,以实现无监督的注视表示学习,并通过减轻计算负担和克服数据标签障碍来提高计算效率和精度。
Sep, 2022
本研究提出了一个训练数据合成和注视估计模型的有效训练流程,用于无监督域自适应,包括使用单幅图像3D重建来扩展源域中头部姿势的范围,提出了一个自编码器网络来分离与注视相关的特征,并引入背景增强一致性损失来利用合成源域的特点,在多个目标域上进一步提高了性能。
May, 2023
利用外观为基础的凝视估计具有很大潜力,通过使用单个通用摄像头作为输入设备,但是在很大程度上取决于大规模且经过良好注释的凝视数据集的可用性,这种数据集是稀缺且昂贵的。为了解决这个挑战,我们提出了一种基于对比学习的框架ConGaze,该框架利用未标记的面部图像以无监督的方式跨主体学习通用的凝视感知表示。我们的实验证明ConGaze在三个公共凝视估计数据集上胜过现有的无监督学习解决方案6.7%至22.5%;并且在跨数据集评估中相对于基于监督学习的模型,取得了15.1%至24.6%的改进。
Sep, 2023
通过使用预训练的视觉语言模型来提高视线估计的泛化能力,本研究提出了一种名为CLIP-Gaze的新型框架。该框架通过在语言描述中构建视线相关特征并将其与视线无关特征相区分,采用个性化上下文优化方法进行文本提示调整,并利用视线样本之间的关系改进视线估计模型的泛化能力。对四个跨领域评估结果表明,CLIP-Gaze方法的性能优于现有方法。
Mar, 2024
通过引入支离破碎辅助正则化(Branch-out Auxiliary Regularization,BAR)方法,提升注视估计的泛化能力,无需对目标域数据进行直接访问,通过整合两个辅助一致性正则化方法,增强核心网络的能力并易于适应其他模型,实验证明该方法在四个跨数据集任务中具有卓越优势。
May, 2024
本研究解决了现有注视估计模型在不同领域之间的性能差异问题。提出的因果表示基础的领域泛化框架(CauGE)通过对抗训练和惩罚项提取领域不变特征,确保模型更有效地推断真实注视。该方法在注视估计领域泛化基准测试中实现了最先进的性能。
Aug, 2024