Mar, 2020

通过深度语义凝视嵌入和扫视路径比较对 OPT 观察期间的专业能力分类

PDF
TL;DR本文基于卷积神经网络提出了一个新的注视序列比较方法，通过图像分析来探索医学专家和新手在阅读牙齿放射图时眼动行为的差异，结果表明在任务语义影响下，该方法在能够准确区分专家和新手方面表现出较好性能，并且具有将任务语义与眼动行为结合在一起的潜力。
发现论文，激发创造
  • 为改善 NLP 表现合成人类凝视反馈

    本文提出了一种基于 ScanTextGAN 的人类注视路径生成模型，通过集成生成的注视路径数据来提高自然语言处理领域中多个任务的性能表现。

    Feb, 2023

  • 零样本图像分类中的注视嵌入

    本文提出一种依靠人类凝视作为辅助信息的零样本图像分类方法，通过数据收集范式和提取判别性描述符来构建图像和凝视的兼容性函数，实现了细粒度图像分类和比基准更优秀的零样本分类结果。

    Nov, 2016

  • 人眼注视期间视觉搜索目标的视觉解码

    研究使用深度卷积神经网络和生成式图像模型将人类注视视线信息解码成视觉目标的图像表示，结果显示出 62% 的准确率

    Jun, 2017

  • 与人类视线互动的神经图像字幕生成

    通过研究人类注视和深度神经网络注意力机制之间的相互作用，我们提出了一种新的注视辅助图像字幕模型，将人的注视信息集成到基于注意力的 LSTM 结构中，能够将算法选择性地分配到注视和非注视的图像区域，这种方法通过对 COCO / SALICON 数据集的评估，显示了我们方法改善了图像字幕性能，并且注视可以补充机器的注意力，提高了语义场景理解的任务。

    Aug, 2016

  • 基于语义的人形机器视觉任务的主动感知技术与视点焦点传感器

    通过使用语义信息，可以在场景探索和视觉搜索任务中有效地完成视觉任务，从而证明了语义模型在视觉任务中的优越性。

    Apr, 2024

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 利用合成扫视路径增强的预训练语言模型用于自然语言理解

    整合了合成扫视路径生成和扫视路径增强的语言模型，消除了对人类注视数据的需求，并具有与真实数据增强的语言模型相媲美的性能。

    Oct, 2023

  • 高度动态决策任务中的潜在注视信息

    本文阐述在当前数字化和逐渐普及的人工智能技术下，眼动技术在领域专家识别、不同领域的知识迁移以及混乱的时间检测等方面发挥了重要作用，并建立了数字诊断模型以及可能的数字助理培训选择。

    Feb, 2022

  • 利用人类注视数据监督视频字幕生成神经注意模型

    本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

    Jul, 2017

  • SEM-GAT：使用学习到的图注意力进行可解释的语义姿态估计

    本文提出了一种基于 GNN 的方法，利用语义和局部几何形状来指导可靠点云注册候选项的识别，语义和形态特征作为注册的关键参考点，实现精确的激光雷达姿态估计，我们的轻量级静态图结构通过识别语义实例关系，作为一种归纳偏见，显著减少了点云注册的计算负担，通过连接候选节点和利用跨图的关注机制，我们为所有潜在的注册对应关系计算置信度得分，估计点云扫描之间的位移，我们的流程通过将模型与环境中的局部结构的个体贡献相关联，使模型的性能进行内省分析，提供有价值的系统行为洞察。我们在 KITTI 测距数据集上测试我们的方法，相较于基准方法，实现了竞争性的准确度和更高的轨迹平滑度，同时依赖 significantly fewer network parameters。

    Aug, 2023