Jun, 2024

睁大眼睛：通过检测不可预测注视实现自心视角视频中的无监督错误检测

PDF
TL;DR本研究提出了一种无监督的方法，通过分析用户视线信号来检测机载视频中的错误，提升智能眼镜中的用户辅助功能，并通过分析异常视线模式预测眼睛视线轨迹以识别错误，该方法在 EPIC-Tent 数据集上验证了其在一类监督和无监督技术上的优越性。
发现论文，激发创造
  • 弱监督的物理无约束凝视估计

    本研究针对自然场景下获取三维凝视注释的挑战进行了探讨，提出了一种基于 LAEO 标签的弱监督凝视估计算法，该算法通过训练算法和损失函数实现了可行的三维凝视监督，结果表明，这种方法对于半监督凝视估计的准确性和跨域泛化的改进方面取得了显着的进展。

    May, 2021

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 非监督式注视点估计的表征学习

    该研究提出了一种不需要注释的低维注视表示学习方法，在少于 100 个标注样本的情况下，实现了有竞争力的 few-shot 注视估计结果，并且可以应用于不同的实验数据集和注视网络预训练等方向。

    Nov, 2019

  • 通过学习任务相关关注转换预测主观视角视频中的凝视

    通过探索注意转移中的时间偏移模式（注意转换）来提出一种新的计算模型，它取决于自我操作任务，以在自然动态场景中推测视线， 并结合深度神经网络和进阶的注意转移和底层显著性预测，利用视线的时间上下文，能够显著优于其他预测方法。

    Mar, 2018

  • CUEING：一项为自动驾驶编码人类凝视的先驱工作

    该论文提出了一种自适应的方法来清洗现有的人类凝视数据集，并提出了一个健壮的卷积自我注意凝视预测模型，实验证明我们的清洗方法和模型能够显著提高 ADS 性能和泛化能力。

    May, 2023

  • 辅助生活环境下的凝视估计

    本文提出了一种基于单个姿态估计模型采集的面部关键点的相对位置来估计个体注视方向的神经网络回归器，结合目标遮挡情况下的置信度门控单元，实现了对复杂辅助生活环境中居民与周围物体互动的自动推理；实验结果表明，该模型与数据集特定的复杂基线模型相媲美。

    Sep, 2019

  • 眼神追踪估计模型分析

    探讨了利用机器学习技术进行眼部凝视估计的技术，论文中提出了在不受限制的场景下，通过使用眼部地标来预测凝视方向的方法，并讨论了采用合成数据进行眼部地标本地化训练的学习方法，并提出了使用该模型进行个性化凝视估计的方法。

    Jul, 2022

  • 基于视频的端到端眼动追踪技术

    提出了一种利用视频数据集和图像相结合的方法，通过学习用户注视与眼部外形之间的联系来提高眼动追踪的精度，实现基于网络摄像头的高准确度屏幕眼动追踪，不需要标记的数据并且通过视觉刺激和眼部图像信息融合可以达到监督式个性化的效果。

    Jul, 2020

  • 视频中无意行为预测

    研究使用自监督表示和基于视频固有速度的方法来识别无意图动作，并与人类一致性进行比较，发现机器和人类的表现存在巨大差距。

    Nov, 2019

  • 通过眼罩驱动的信息瓶颈学习无监督的凝视表示

    本研究提出了一种新的无监督 / 自监督凝视预训练框架，通过协同特征对比和挤压模块，强制全脸分支学习一个低维度凝视嵌入，无需凝视注释，并采用交替注视 / 不注视眼睛的屏蔽训练方案，进一步提升学习到的表示，并取得了优于无监督最新技术的性能。

    Jun, 2024