Jan, 2024

自闭症谱系障碍儿童眼动追踪模式分类的内积融合卷积神经网络

PDF
TL;DR在这篇论文中，我们利用两种不同的图像处理操作来研究这些过程如何学习眼动追踪模式，并提出了一种简单而有效的方法，将 involution 与 convolution 相结合，使其成为一个深度学习模型的位置特定能力的混合。我们调查了我们的方法在分类眼动追踪模式方面表现良好的原因。对于比较分析，我们对两个独立的数据集以及两者的组合版本进行了实验。结果表明，具有三个 involution 层的 IC 方法优于先前的方法。
发现论文，激发创造
  • Involution：卷积内在性的翻转用于视觉识别

    本文提出一种新的深度神经网络操作 Atomic Involution，其将传统卷积的空间不可知和通道特异性原则进行了倒置，可作为构建新一代神经网络的基础砖块并提高了卷积基线的性能。

    Mar, 2021

  • 结合眼动跟踪、软件视网膜和深度学习的高效自我中心视觉感知

    本文介绍了利用生物学方法实现高效自我中心感知的持续性工作，将哺乳动物视网膜的空间变体成像结构与深度学习方法相结合，在控制眼动眼镜的凝视位置的情况下，我们演示了将图像预处理为因子 3 的 DCNN 输入，减少必需训练的时期并在 26,000 多个物体的图像库上训练和验证系统时可获得超过 98% 的分类准确率。

    Sep, 2018

  • 使用扩张卷积进行基于外观的凝视估计

    通过采用扩张卷积来提取高分辨率特征，以改善眼睛图像在显著变化下的精确度，我们提出了 Dilated-Net 模型，它在两个 Gaze 估计数据集上都取得了最先进的结果，相比不使用扩张卷积的类似网络获得了显著提高（高达 20.8%）。

    Mar, 2019

  • 使用卷积神经网络进行实时眼球注视方向分类

    提出实时框架及卷积神经网络用于分类人眼凝视方向和评估眼部访问线索，并使用改进的 Viola-Jones 算法检测人脸，通过几何关系和面部特征点得到眼部区域，并进行逐帧测试以获得平均帧速率 24fps，结果显示其优于现有方法。

    May, 2016

  • 基于注意力机制的编解码卷积神经网络用于眼部分割

    该篇论文提出了一种基于卷积神经网络的注意力编码器 - 解码器网络模型，用于迅速高效地对眼睛各部分进行分割，包括巩膜、虹膜、瞳孔和背景，取得了较好的结果。

    Oct, 2019

  • 使用深度学习提高虚拟现实中眼动追踪的鲁棒性、准确性和精度

    通过比较不同机器学习方法在眼部特征追踪中的表现，本研究客观评估了这些方法对最终注视估计质量的影响。

    Mar, 2024

  • 一种低功耗的神经形态学方法实现高效眼动跟踪

    本文介绍了一种用于眼动追踪的神经形态学方法，利用由 Dynamic Vision Sensor（DVS）摄像头捕获的纯事件数据。该方法结合了一个经过直接训练的脉冲神经网络回归模型，并利用了一种先进的低功耗边缘神经形态学处理器 Speck，旨在提高眼动追踪系统的精确度和效率。

    Dec, 2023

  • 深度学习在帕金森病眼动数据的时间序列分类中的应用

    通过使用眼动追踪数据，分析巴金森病诊断和分类的深度学习算法，研究发现通过用于准备阶段的短时间序列数据作为输入可实现疾病分类任务，结果表明这些数据具有较低的主体间变异性并携带关于大脑认知和运动状况的有用信息，有效用于机器学习发现与疾病相关的生物标志物。

    Nov, 2023

  • 注视估计的微分方法

    本文介绍了一种基于差分方法的凝视估计技术，使用差分卷积神经网络直接预测同一受试者的两个眼睛输入图像之间的凝视差异，然后利用推断出的差异来预测新眼睛样本的凝视方向。实验结果表明，该方法即使只使用一个校准样本或在后续使用受试者特定的凝视适应方法时，也始终优于现有的方法。

    Apr, 2019

  • 解决深度视觉模型中的一个基本限制：缺乏空间注意力

    当前深度学习模型在处理图像时存在的重要局限性是它们无法像人类视觉一样，高效地只选择必要的视觉区域进行处理，导致速度慢且能耗高。本文从广泛的角度考察了这个问题，并提出了解决方案，为下一代更高效的视觉模型铺平了道路。基本上，本文采用了选择性地对变换后的区域进行卷积和池化操作，并将变化图传递给后续层次。这个图指示了哪些计算需要重复执行。源代码可在此 URL 进行查看。

    Jul, 2024