Aug, 2024

受机器人启发的扫描路径模型揭示了不确定性和语义对象线索对于动态场景中凝视引导的重要性

HTML
PDF
TL;DR本研究解决了对象分割与凝视行为通常被视为独立过程的问题，提出了一种基于机器人信息处理模式的机制模型来模拟动态场景中的这两个过程。研究表明，该模型能有效预测人类的自由观看行为，且不确定性促进了平衡探索，而语义对象线索在形成对象基础注意力的感知单元中发挥着关键作用。
发现论文，激发创造
  • 眼中的行为: 动态注视数据集和学习显著性模型用于视觉识别

    本研究使用人眼追踪数据结合计算机视觉，探究了视觉搜索模式的稳定性、计算机视觉的空间-时间兴趣点采样策略与人类注视策略之间的差异，证明人类注视可以被准确预测，且在使用先进计算机视觉实践建立端到端可训练的计算机视觉系统时表现优良。

    Dec, 2013

  • 对解释自由观察注视时显着性和物体中心偏倚假设的调和

    研究自然场景中人们的注意力转移，在低层图像显著性和高层语义信息等方面提出了两个看似相互矛盾的提示，其中分析了物体中心偏置的影响，并提出了一种结合低层视觉显著性和物体中心偏置的模型，旨在深入了解人类在观察场景和对象时使用的策略，并展示结合低层视觉显著性和高层物体信息的模型的构建。

    Mar, 2015

  • SaccadeNet: 一种快速准确的物体检测器

    该论文介绍了一种名为SaccadeNet的实时目标检测算法，它借鉴了人眼通过扫视信息获得物体位置的神经学机制，使用卷积神经网络并结合关键点定位进行快速精准的检测。在MS COCO数据集上，SaccadeNet实现了40.4％ mAP（每图平均精度）和28FPS（每秒帧数）和30.5％ mAP和118FPS的性能，在实时性能和检测精度两方面表现出色。

    Mar, 2020

  • SaccadeCam：自适应的视觉注意力在单目深度感知中的应用

    本文提出了一种名为SaccadeCam的方法，通过自适应地分配分辨率到场景中的兴趣区域，实现单目深度估计的端到端学习。该算法将充分考虑物体在视觉系统中的感知特性。

    Mar, 2021

  • 动态场景中基于物体的扫视决策的模块化框架

    通过建立一种新的模型，模拟人眼在动态实景场景中的活动探索过程，该模型中采用了漂移扩散模型（DDM），将其扩展为多种选项，并将决策与基于对象的场景感知进行了明确的联系。

    Jun, 2021

  • 机器凝视背后: 带有生物启示约束的神经网络表现出类似于人类的视觉关注

    本文提出了神经视觉注意力算法（NeVA），并利用仿生视觉约束在神经网络上实现了类人的扫描路径生成。实验结果表明，该方法在类人扫描路径相似性方面优于现有无监督的人类注意力模型，同时可灵活地研究不同任务对视觉行为的影响，并在考虑不完美的视觉条件下的实际应用中表现出明显的优势。

    Apr, 2022

  • 从稳定的循环视觉模型计算类人反应时度量

    本文介绍了一种通用方法，基于主观逻辑理论和重复视觉模型中的证据累积，构建对反应时间的计算机解释， 并证明它可以与人类的视觉决策方式进行对齐。

    Jun, 2023

  • 基于语义的人形机器视觉任务的主动感知技术与视点焦点传感器

    通过使用语义信息，可以在场景探索和视觉搜索任务中有效地完成视觉任务，从而证明了语义模型在视觉任务中的优越性。

    Apr, 2024

  • 统一动态扫视路径预测器优于单独训练模型

    通过深度学习的社交线索整合模型，我们开发了一个视频中注视预测的模型，通过递归地整合注视历史和社交线索来学习注视路径，以填补以往只关注群体模型而忽视了个体差异的研究空白。我们观察到这种单一统一的模型通过整合普遍关注和个体化注意力行为的方式在注视数据集上表现出色，优于个别训练的模型。

    May, 2024

  • GazeXplain：学习预测视觉扫描路径的自然语言解释

    本研究解决了传统视觉扫描路径模型缺乏对注视背后原因的解释这一问题，通过提出GazeXplain方法，利用注意力-语言解码器共同预测扫描路径和生成解释。此外，提出的语义对齐机制和跨数据集共同训练方法显著提高了模型的适应性和一致性，实验结果表明GazeXplain在扫描路径预测与解释方面具有有效性，促进了对人类视觉注意力和认知过程的理解。

    Aug, 2024