ECCVSep, 2018

结合眼动跟踪、软件视网膜和深度学习的高效自我中心视觉感知

PDF
TL;DR本文介绍了利用生物学方法实现高效自我中心感知的持续性工作，将哺乳动物视网膜的空间变体成像结构与深度学习方法相结合，在控制眼动眼镜的凝视位置的情况下，我们演示了将图像预处理为因子 3 的 DCNN 输入，减少必需训练的时期并在 26,000 多个物体的图像库上训练和验证系统时可获得超过 98% 的分类准确率。
发现论文，激发创造
  • 一种低功耗的神经形态学方法实现高效眼动跟踪

    本文介绍了一种用于眼动追踪的神经形态学方法，利用由 Dynamic Vision Sensor（DVS）摄像头捕获的纯事件数据。该方法结合了一个经过直接训练的脉冲神经网络回归模型，并利用了一种先进的低功耗边缘神经形态学处理器 Speck，旨在提高眼动追踪系统的精确度和效率。

    Dec, 2023

  • 基于外观的注视估计，使用深度神经网络增强的合成图像

    使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

    Nov, 2023

  • 深度领域适应：一种用于改进眼动跟踪系统的仿真到真实的神经方法

    使用降维技术衡量目标眼睛图像和合成训练数据之间的重叠，并修剪训练数据集以最大化分布重叠，从而解决模拟和实际数据样本之间的差异，从而实现鲁棒的、改善的性能。

    Mar, 2024

  • 使用深度学习提高虚拟现实中眼动追踪的鲁棒性、准确性和精度

    通过比较不同机器学习方法在眼部特征追踪中的表现，本研究客观评估了这些方法对最终注视估计质量的影响。

    Mar, 2024

  • 利用深度学习在中央凹区图像中学习搜索和检测物体

    研究了利用仿生学注意机制的物体识别方法，通过采用集成注意力、分类和定位的双重任务模型，利用人类注意力系统分辨图像中的感兴趣区域。

    Apr, 2023

  • 实时网络摄像头注视追踪的高效性

    本文研究了凝视跟踪中的两种效率：计算效率和可用性效率，并评估了 CNN 网络的推断速度 / 准确性与屏幕校准的精度 / 烦琐程度之间的平衡，结果表明单眼输入和几何回归校准方法达到了最佳平衡。

    Sep, 2020

  • 计算机视觉中的人类感知

    本文研究计算机视觉、深度神经网络（DNN）、人类视觉感知和无体系结构视觉学习之间的联系，并发现 DNN 计算可用于估计感知损失，并与有趣的理论观点一致，即人类感知的特性是视觉学习无体系结构的结果。

    Jan, 2017

  • 预测驾驶员的注意力焦点：DR (eye) VE 项目

    本文旨在预测驾驶员的注意力集中情况，提出了一种基于多分支深度架构的计算机视觉模型，集成了三种信息源：原始视频、动态和场景语义，并介绍了 DR (eye) VE，这是迄今为止最大的驾驶场景数据集，结果强调了跨驾驶员共享的注意力模式，可在人车交互和驾驶员注意力分析等多个应用方面受益。

    May, 2017

  • 视觉系统的资源高效感知

    应对高分辨率图像处理中的计算挑战，提出了一种利用内存高效的基于块处理的框架，通过全局上下文表示和局部块信息实现对图像内容的全面理解，并在不受内存限制的情况下对超高分辨率图像进行训练，在分类、目标检测和分割等七个基准测试中取得了卓越性能，甚至在像 Jetson Nano 这样的资源受限设备上也能表现出色。

    May, 2024

  • DeepMetricEye: 周边眼深度虚拟现实成像的度量估计

    虚拟现实头戴设备往往导致用户出现不良影响，如数字视疲劳、干眼症以及潜在的长期视力损害。为了解决测量问题，本研究提出了一种基于 U-Net 3 + 深度学习模型的轻量级框架，可以估计可测量的眼周深度图。该方法适用于任何配备有面向眼部的单眼摄像头的 VR 头戴设备，可以重建三维眼周区域，为相关光刺激计算协议和医疗指南提供度量基础。通过使用 UE MetaHuman 创建的动态眼周数据生成环境，我们合成了数千个训练图像。在 36 名参与者的样本上评估了我们的方法，在眼周全局精度评估实验和瞳孔直径测量方面表现出显著的效果。

    Nov, 2023