UVAGaze:无监督的双视角适应用于凝视估计
通过双视图凝视估计网络(DV-Gaze)和双视图信息交互卷积(DIC)块,该研究论文提出了一种利用双摄像头进行凝视估计的方法,综合考虑了双视图特征和几何关系,并通过双视图转换器来提高凝视估计性能。
Aug, 2023
该研究论文通过提出一种新颖的 Single-to-Dual-view 适应(S2DHand)解决方案,将单视图估计器无监督地适应双视图,通过使用两个立体约束条件生成伪标签,可在不同相机设置下应用于任意双视图对,显著改善了在数据集内和数据集间的任意相机对上的表现,并超过了现有的适应方法。
Mar, 2024
本研究提出了一个训练数据合成和注视估计模型的有效训练流程,用于无监督域自适应,包括使用单幅图像 3D 重建来扩展源域中头部姿势的范围,提出了一个自编码器网络来分离与注视相关的特征,并引入背景增强一致性损失来利用合成源域的特点,在多个目标域上进一步提高了性能。
May, 2023
提出了一种多视角注视估计任务并跨视图特征融合的方法,通过使用相对旋转矩阵来训练网络提取可旋转的特征表示,并自适应地通过堆叠的融合模块融合这些特征,显著提高了模型在未见头部姿势下的泛化性能。
May, 2023
通过使用多视角数据对单目人体姿态估计模型进行微调,引入新的一致性损失函数,提升性能,从而实现对特定应用定制模型的实用和经济有效解决方案。
Nov, 2023
该研究提出了一种不需要注释的低维注视表示学习方法,在少于 100 个标注样本的情况下,实现了有竞争力的 few-shot 注视估计结果,并且可以应用于不同的实验数据集和注视网络预训练等方向。
Nov, 2019
本研究提出一种新的单阶段端到端注视估计方法,可同时预测图像中多个面孔(>10)的注视方向,并使用 MPSGaze 数据集验证了该方法的有效性和易用性,为实时应用提供支持。
Apr, 2022
利用外观为基础的凝视估计具有很大潜力,通过使用单个通用摄像头作为输入设备,但是在很大程度上取决于大规模且经过良好注释的凝视数据集的可用性,这种数据集是稀缺且昂贵的。为了解决这个挑战,我们提出了一种基于对比学习的框架 ConGaze,该框架利用未标记的面部图像以无监督的方式跨主体学习通用的凝视感知表示。我们的实验证明 ConGaze 在三个公共凝视估计数据集上胜过现有的无监督学习解决方案 6.7%至 22.5%;并且在跨数据集评估中相对于基于监督学习的模型,取得了 15.1%至 24.6%的改进。
Sep, 2023
通过使用半监督对比学习框架,本文提出了一种新的对比损失范式,从而实现了基于注视方向的估计,该框架在使用少量带有标签的注视数据集时,可以找到泛化解决方案,即使对于未见过的人脸图像也能有良好的性能表现,与其他用于注视估计的最先进对比学习技术相比,我们的对比回归框架表现良好。
Aug, 2023