Aug, 2023

使用脑电图的可解释和注意力机制的凝视估计方法

PDF
TL;DR本文利用同时测量的脑电图 (EEG) 和眼动数据集，提出了一种可解释的基于关注机制的深度学习框架用于估计眼球注视方向，通过对结果的分析可见该方法在准确性和鲁棒性方面优于现有方法，并提供了解释和强调注意力机制在 EEG 数据分析中提高效率和有效性的潜力。
eye movementseeggaze estimationinterpretable modelattention-based deep learning framework
发现论文，激发创造
  • 我的大脑关注哪里？从脑活动预测视觉注意力

    本文研究基于 EEG 采集数据的图像视觉注意力识别算法，结果表明其效果与传统基于图像分析的方法相当，数据集和代码已提供。

    Jan, 2022

  • 眼神追踪估计模型分析

    探讨了利用机器学习技术进行眼部凝视估计的技术，论文中提出了在不受限制的场景下，通过使用眼部地标来预测凝视方向的方法，并讨论了采用合成数据进行眼部地标本地化训练的学习方法，并提出了使用该模型进行个性化凝视估计的方法。

    Jul, 2022

  • 使用卷积神经网络进行实时眼球注视方向分类

    提出实时框架及卷积神经网络用于分类人眼凝视方向和评估眼部访问线索，并使用改进的 Viola-Jones 算法检测人脸，通过几何关系和面部特征点得到眼部区域，并进行逐帧测试以获得平均帧速率 24fps，结果显示其优于现有方法。

    May, 2016

  • EEGEyeNet：一份同时包含脑电图和眼动数据的预测眼动的基准数据集

    本论文提出了一个新的数据集和基准，旨在推进大脑活动和眼动交叉领域的研究。使用该数据集，我们还提出了一个 EEG 测量下注视预测的基准，并对此进行了广泛的实验，为基础机器学习模型和大型神经网络提供了坚实的基础。

    Nov, 2021

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 基于深度学习的眼动追踪脑电图数据分割

    介绍了一种名为 DETRtime 的新框架，该框架利用 EEG 数据而无需额外记录眼球跟踪模式，实现了时间序列的分割，实现了多种眼球跟踪实验范式的最新最优性能，同时在 EEG 睡眠阶段的分割任务中得到了良好的泛化表现。

    Jun, 2022

  • 采用电极聚类和带通分析技术的脑电数据在注视估计中的应用

    本研究验证了以前出版论文的研究结果，并展示了基于脑电图的凝视估计的可行性，通过使用数据驱动方法，我们证明在模型表现略微下降的情况下，可以显著减少电极数量，从而不需要高密度昂贵的 EEG 帽就可以完成 EEG 基础的凝视追踪。我们确定了哪些电极簇对凝视估计有影响，以及不同类型的 EEG 数据预处理对模型性能的影响，并最终检查了记录的频率对所定义任务最重要的方面。

    Feb, 2023

  • 利用人类注视数据监督视频字幕生成神经注意模型

    本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

    Jul, 2017

  • 辅助生活环境下的凝视估计

    本文提出了一种基于单个姿态估计模型采集的面部关键点的相对位置来估计个体注视方向的神经网络回归器，结合目标遮挡情况下的置信度门控单元，实现了对复杂辅助生活环境中居民与周围物体互动的自动推理；实验结果表明，该模型与数据集特定的复杂基线模型相媲美。

    Sep, 2019

  • 基于外貌的深度学习注视估计：综述和基准

    本文基于深度学习方法综述了当前外貌为基础的凝视估计技术。介绍了数据预处理和后处理方法，将所有公开数据集进行了特征化，并设置了评估准则。本研究提供了参考，可供深度学习或未来凝视估计研究使用。

    Apr, 2021