基于因果表示的注视估计领域泛化
本文提出一种依靠人类凝视作为辅助信息的零样本图像分类方法,通过数据收集范式和提取判别性描述符来构建图像和凝视的兼容性函数,实现了细粒度图像分类和比基准更优秀的零样本分类结果。
Nov, 2016
本文介绍了一种基于差分方法的凝视估计技术,使用差分卷积神经网络直接预测同一受试者的两个眼睛输入图像之间的凝视差异,然后利用推断出的差异来预测新眼睛样本的凝视方向。实验结果表明,该方法即使只使用一个校准样本或在后续使用受试者特定的凝视适应方法时,也始终优于现有的方法。
Apr, 2019
本论文主要创新点是通过合成现有的参考样本的注视重定向眼图像来改进视线适应,并提出了一个自监督的方法进行域适应,利用视线重定向来提高特定个体视线估计的性能,通过对两个公共数据集的广泛实验证明了我们的视线重新定向和视线估计框架的有效性。
Apr, 2019
该研究提出了一种不需要注释的低维注视表示学习方法,在少于100个标注样本的情况下,实现了有竞争力的few-shot注视估计结果,并且可以应用于不同的实验数据集和注视网络预训练等方向。
Nov, 2019
本文提出一种无监督学习的方法,采用embedding representation及prediction consistency来消除inter-personal diversity对gaze estimation的影响,设计了Domain Adaptation Gaze Estimation Network(DAGEN),在MPIIGaze和EYEDIAP数据集上取得了最先进的结果。
Nov, 2020
本文提出了一种针对凝视估计中的跨领域问题的域通用化方法,通过凝视特征净化,消除光照和身份等与凝视无关的因素,不仅极大地改善了我们的基准模型,还直接显著提高了现有凝视估计方法的性能。
Mar, 2021
本文提出了一种插拔式注视适应框架(PnP-GA),它是一组网络,根据离群点的指导协作学习,并通过将现有注视估计网络直接插入到PnP-GA中来将算法推广到新领域,从而实现目标域中的注视估计。在四个注视领域适应任务中,实验证明了该框架相对于基线系统的性能提升36.9%,31.6%,19.4%和11.8%,同时也胜过当前领先的注视域适应方法。
Jul, 2021
本研究提出了一个训练数据合成和注视估计模型的有效训练流程,用于无监督域自适应,包括使用单幅图像3D重建来扩展源域中头部姿势的范围,提出了一个自编码器网络来分离与注视相关的特征,并引入背景增强一致性损失来利用合成源域的特点,在多个目标域上进一步提高了性能。
May, 2023
通过使用预训练的视觉语言模型来提高视线估计的泛化能力,本研究提出了一种名为CLIP-Gaze的新型框架。该框架通过在语言描述中构建视线相关特征并将其与视线无关特征相区分,采用个性化上下文优化方法进行文本提示调整,并利用视线样本之间的关系改进视线估计模型的泛化能力。对四个跨领域评估结果表明,CLIP-Gaze方法的性能优于现有方法。
Mar, 2024
通过引入支离破碎辅助正则化(Branch-out Auxiliary Regularization,BAR)方法,提升注视估计的泛化能力,无需对目标域数据进行直接访问,通过整合两个辅助一致性正则化方法,增强核心网络的能力并易于适应其他模型,实验证明该方法在四个跨数据集任务中具有卓越优势。
May, 2024