Mar, 2024

深度领域适应：一种用于改进眼动跟踪系统的仿真到真实的神经方法

PDF
TL;DR使用降维技术衡量目标眼睛图像和合成训练数据之间的重叠，并修剪训练数据集以最大化分布重叠，从而解决模拟和实际数据样本之间的差异，从而实现鲁棒的、改善的性能。
eye image segmentationsupervised machine learningsynthetic eye imagesdimensionality-reduction techniquessimulation and real-world data samples
发现论文，激发创造
  • 用于眼形注册和凝视估计的眼部渲染

    该研究利用计算机图形技术合成眼睛数据，以替代传统方法的耗时数据收集和手动标注，实现更好的性能表现。

    May, 2015

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 使用深度学习提高虚拟现实中眼动追踪的鲁棒性、准确性和精度

    通过比较不同机器学习方法在眼部特征追踪中的表现，本研究客观评估了这些方法对最终注视估计质量的影响。

    Mar, 2024

  • 通过新视角合成和特征分离来进行领域自适应全脸注视估计

    本研究提出了一个训练数据合成和注视估计模型的有效训练流程，用于无监督域自适应，包括使用单幅图像 3D 重建来扩展源域中头部姿势的范围，提出了一个自编码器网络来分离与注视相关的特征，并引入背景增强一致性损失来利用合成源域的特点，在多个目标域上进一步提高了性能。

    May, 2023

  • 域整理：简化图像缓解合成 - 真实域间的转移并提高深度估计

    通过注意力模块，学习识别和去除真实图像中的困难部分，以提高合成数据训练的模型对真实图像的景深估计。

    Feb, 2020

  • 利用合成数据进行学习：解决语义分割的领域偏移问题

    该研究提出了一种基于生成对抗网络（GANs）的新方法，以改进分割网络所学到的表示在合成和真实领域中的自适应，证明了其具有广泛性和可扩展性。

    Nov, 2017

  • 面向现实的城市场景语义分割自适应技术

    该论文提出了一种面向现实的域适应方法，通过学习合成数据，结合目标引导的蒸馏和空间感知的适应方案，可以提高语义分割网络从合成到真实城市场景的泛化能力。

    Nov, 2017

  • LEyes: 基于合成眼睛图像的轻量级深度学习眼动追踪框架

    通过使用简单的光线分布模拟眼睛的关键图像特征，Light Eyes（LEyes）框架能够通过多样的凝视估计任务来令神经网络训练更容易配置，从而解决了深度学习在目光估计方面的问题。LEyes 训练的模型在瞳孔和眼角膜反射定位方面在众所周知的数据集上优于其他最先进的算法，并且通过使用更具成本效益的硬件，该模型的性能也超过了工业标准的眼动仪。未来，我们有信心 LEyes 将革新用于凝视估计模型的合成数据生成，并带来下一代基于视频的眼动仪的显著改进。

    Sep, 2023

  • 基于外观的注视估计，使用深度神经网络增强的合成图像

    使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

    Nov, 2023

  • 使用合成数据增广消除数据集偏差

    本文探讨使用有针对性的合成数据增强 - 结合游戏引擎模拟和 sim2real 风格转移技术 - 填补视觉任务的真实数据集中的空缺。在三种不同的计算机视觉任务中（停车位检测，车道检测和单 ocular 深度估计），实证研究一致表明，将合成数据与真实数据混合训练能够显著提高交叉数据集的泛化性能。

    Apr, 2020