Nov, 2024

单向卷积的多任务凝视估计

HTML
PDF
TL;DR本研究解决了轻量级模型在凝视估计任务中性能显著下降的问题，主要是由于特征通道数量不足。提出的Multitask-Gaze网络模型采用单向卷积、空间和通道注意力等新方法，提高了模型的表征能力。实验结果显示，与当前最先进的方法相比，Multitask-Gaze在MPIIFaceGaze和Gaze360数据集上分别提升了1.71%和2.75%的性能，同时参数和FLOPs大幅减少75.5%和86.88%。
发现论文，激发创造
  • 利用外貌和形状线索的3D凝视估计的循环卷积神经网络

    本论文使用多模态卷积神经网络在远程摄像机中完成了独立于人物和头部姿态的三维凝视估计。通过将人脸，眼睛区域和面部标志作为神经网络中的单个流来估计静态图像中的凝视。随后，利用凝视的动态特性，将所有帧的学习特征馈送到多到一循环模块，以预测最后一帧的三维凝视向量，其在多种头部姿态和凝视方向上获得了显著的改进。

    May, 2018

  • 通过联合建模注视和场景显著性来通用关注估计：连接注视，场景和注意力

    本文研究了如何在自然社交场景下，通过多任务学习方法精准地估计人们在图像中的视觉关注与注视点，特别考虑了视线方向及目标超出画面的情况。该方法在多项测试中取得了优异表现，扩展了现有数据集，公开发布。

    Jul, 2018

  • 使用扩张卷积进行基于外观的凝视估计

    通过采用扩张卷积来提取高分辨率特征，以改善眼睛图像在显著变化下的精确度，我们提出了Dilated-Net模型，它在两个Gaze估计数据集上都取得了最先进的结果，相比不使用扩张卷积的类似网络获得了显著提高（高达20.8%）。

    Mar, 2019

  • GazeOnce: 实时多人凝视估计

    本研究提出一种新的单阶段端到端注视估计方法，可同时预测图像中多个面孔（>10）的注视方向，并使用MPSGaze数据集验证了该方法的有效性和易用性，为实时应用提供支持。

    Apr, 2022

  • FreeGaze: 基于频域对比学习的资源有效的凝视估计

    FreeGaze是一种资源高效的框架，它结合了频域注视估计和对比注视表示学习，以实现无监督的注视表示学习，并通过减轻计算负担和克服数据标签障碍来提高计算效率和精度。

    Sep, 2022

  • 外观为基础的凝视估计的架构和感受野研究

    通过调整 ResNet 结构的几个简单参数，我们在三个常用数据集上实现了目光估计任务的最先进性能，其中 ETH-XGaze 上的误差为 3.64，MPIIFaceGaze 上的误差为 4.50，Gaze360 上的误差为 9.13。

    Aug, 2023

  • 通过捕捉头部-面部-眼睛空间-时间交互上下文的端到端视频凝视估计

    我们提出了一种新的方法，Multi-Clue Gaze (MCGaze)，通过在头部、面部和眼睛之间捕捉空间-时间交互上下文，以端到端的学习方式促进视频凝视估计，从而实现头部、面部和眼睛的线索定位任务在一个步骤中解决，并通过联合优化寻求最佳性能。

    Oct, 2023

  • CLIP-Gaze：基于视觉语言模型的通用注视估计

    通过使用预训练的视觉语言模型来提高视线估计的泛化能力，本研究提出了一种名为CLIP-Gaze的新型框架。该框架通过在语言描述中构建视线相关特征并将其与视线无关特征相区分，采用个性化上下文优化方法进行文本提示调整，并利用视线样本之间的关系改进视线估计模型的泛化能力。对四个跨领域评估结果表明，CLIP-Gaze方法的性能优于现有方法。

    Mar, 2024

  • 个性化视频视线估计的时空注意力和高斯过程

    使用深度学习模型和专门的注意力模块，通过视频实现准确的注视方向预测，并且通过个性化处理和少量样本获得更高的精度。

    Apr, 2024

  • 通过融合全局信息的轻量级注视估计模型

    本研究针对现有高精度注视估计模型在参数量、训练时间及收敛速度上的不足，提出了一种新颖的轻量级注视估计模型FGI-Net（融合全局信息）。该模型有效融合全局信息，降低了模型复杂性，同时提高了准确性和收敛速度。实验结果表明，FGI-Net在多个数据集上与现有模型相比，显著减少了角度误差及训练迭代次数，从而展现出其优越的性能。

    Nov, 2024