学习在非受限环境下寻找眼部关键点以进行远程凝视估计
探讨了利用机器学习技术进行眼部凝视估计的技术,论文中提出了在不受限制的场景下,通过使用眼部地标来预测凝视方向的方法,并讨论了采用合成数据进行眼部地标本地化训练的学习方法,并提出了使用该模型进行个性化凝视估计的方法。
Jul, 2022
该论文介绍了一种基于几何的方法来解决现有的真实时间凝视估计系统所面临的挑战,利用普通消费级硬件生成准确、稳定的人脸和虹膜的三维地标,从而预测眼睛凝视方向,实现低计算资源要求下的高精度、实时的眼睛凝视估计。
Dec, 2023
该研究提出了一种不需要注释的低维注视表示学习方法,在少于 100 个标注样本的情况下,实现了有竞争力的 few-shot 注视估计结果,并且可以应用于不同的实验数据集和注视网络预训练等方向。
Nov, 2019
提出了一种无需手动监督来学习视觉对象(例如面部中的眼睛和鼻子)的地标探测器的方法,通过几何提取过程中引入的紧密瓶颈,结合外观和几何来生成图片,该方法适用于多种数据集,包括人脸、人物、3D 对象和数字,同时在无监督地标检测方面优于现有最先进的技术。
Jun, 2018
通过使用半监督对比学习框架,本文提出了一种新的对比损失范式,从而实现了基于注视方向的估计,该框架在使用少量带有标签的注视数据集时,可以找到泛化解决方案,即使对于未见过的人脸图像也能有良好的性能表现,与其他用于注视估计的最先进对比学习技术相比,我们的对比回归框架表现良好。
Aug, 2023
本文介绍了一种新颖的多流网络,学习了强健的眼部表示形式以进行凝视估计,并使用模拟器创建了合成数据集来进行眼部区域分割,并进行自监督对比学习来为真实世界的眼部图像预训练编码器,最终通过多流框架从真实世界中提取显著特征以进行凝视估计,在两种不同的评估设置下展示了方法的性能,在 EYEDIAP 数据集上超越了所有已有的基准,并进行了额外实验以验证自监督网络对于不同数量的标记数据的鲁棒性。
Dec, 2021
我们提出了一个眼睛地标调整模块和一个局部动态损失,以捕捉眼睛区域的动态特征,并灵活调整地标以精确地重建不同的眼睛状态。通过在两个数据集上进行广泛实验,综合评估了我们的方法,结果强调了我们方法的卓越性能,并突出了其在解决这一特殊挑战中的重要贡献。
Jan, 2024
利用外观为基础的凝视估计具有很大潜力,通过使用单个通用摄像头作为输入设备,但是在很大程度上取决于大规模且经过良好注释的凝视数据集的可用性,这种数据集是稀缺且昂贵的。为了解决这个挑战,我们提出了一种基于对比学习的框架 ConGaze,该框架利用未标记的面部图像以无监督的方式跨主体学习通用的凝视感知表示。我们的实验证明 ConGaze 在三个公共凝视估计数据集上胜过现有的无监督学习解决方案 6.7%至 22.5%;并且在跨数据集评估中相对于基于监督学习的模型,取得了 15.1%至 24.6%的改进。
Sep, 2023