May, 2024

统一动态扫视路径预测器优于单独训练模型

PDF
TL;DR通过深度学习的社交线索整合模型，我们开发了一个视频中注视预测的模型，通过递归地整合注视历史和社交线索来学习注视路径，以填补以往只关注群体模型而忽视了个体差异的研究空白。我们观察到这种单一统一的模型通过整合普遍关注和个体化注意力行为的方式在注视数据集上表现出色，优于个别训练的模型。
scanpath predictionattentional behaviorssocial cue integration modelgaze datasetsunified model
发现论文，激发创造
  • 人类扫描路径预测的最新技术

    评估人类扫视路径预测模型的学术论文，引入新的评估指标方法并详细比较了现有模型的性能，提出了以往指标所忽略的问题点。论文最终提出了 MIT/Tuebingen Saliency Benchmark 数据集作为基准，供研究人员参考，评价其模型预测的准确性。

    Feb, 2021

  • 利用合成扫视路径增强的预训练语言模型用于自然语言理解

    整合了合成扫视路径生成和扫视路径增强的语言模型，消除了对人类注视数据的需求，并具有与真实数据增强的语言模型相媲美的性能。

    Oct, 2023

  • 超越平均：个体化视觉扫视路径预测

    通过个体化的扫视预测方法，本研究旨在准确预测不同个体在多样化的视觉任务中如何转移注意力，以弥补现有的视觉扫视模型忽视个体差异的不足。通过提出一个包含三个创新技术部分的个体化扫视预测方法，即观察者编码器、以观察者为中心的特征整合方法以及自适应注视优先机制，我们的方法能够有效处理不同观察者之间的注意力变化，成为将一般的扫视模型转变为个体化模型的综合工具。以基于价值和基于排名的指标进行的综合评估验证了方法的有效性和普适性。

    Apr, 2024

  • GASP：门控注意力用于显著性预测

    本研究提出了一种神经模型，旨在整合社交线索并权衡它们的影响，通过探索不同的融合技术，引入两个子网络以将注意力引导到相关的刺激物上，结果表明动态显著性预测不考虑社交线索的准确性有所提高。

    Jun, 2022

  • 拥挤空间中基于社交及场景感知的轨迹预测

    基于 LSTM 模型及人际交互、过往观测、周围空间语义等多重因素，预测人在城市场景中的运动方向的方法在测试中证明比传统 LSTM 模型准确，成为开发自动驾驶车辆与社交性机器人必不可少的一步。

    Sep, 2019

  • 社交关注：人类群体中的关注建模

    提出了一种社交关注的轨迹预测模型，该模型可以捕获人们在拥挤环境中导航时每个人的相对重要性，不受其接近性的限制。该模型通过对两个公开数据集的表现进行实证分析，对比了现有方法的性能，并分析了训练后的注意力模型，以获得更好地理解人类在拥挤环境中导航时关注周围团队的特点。

    Oct, 2017

  • EyeFormer：使用 Transformer 引导的强化学习预测个性化扫描路径

    通过使用 Transformer 模型和深度强化学习算法，我们提出了 EyeFormer 模型，可以预测个体用户的视觉扫描路径，并在图形用户界面布局优化等方面有广泛应用。

    Apr, 2024

  • 利用具有空间感知的深度关注模型进行人类轨迹预测

    提出了一种端到端的基于深度学习的模型，该模型使用来自不同导航模式的数据直接学习人类的运动模式，包括一个软关注机制和一种新颖的方法来预测动态轨迹，同时还考虑了场景中的静态物体存在，通过在行人轨迹数据集上的测试结果显示，可以显著优于现有的最新技术水平，也可以自然地扩展到同时处理多个移动模式。

    May, 2017

  • Eyettention: 一种基于注意力的双序列模型，用于预测阅读过程中人类扫视路径

    本文提出了一种名为 Eyettention 的双序列模型，它可以同时处理词序列和注视序列，通过交叉序列注意机制实现了两个序列的对齐，并在不同的语言数据集上进行了广泛评估和深入分析。结果显示，Eyettention 在预测扫描路径方面表现优于现有模型。

    Apr, 2023

  • 多人时间性目光跟踪和社交目光预测的新框架

    本文介绍了一种新的框架，用于联合预测场景中所有人的凝视目标和社交凝视标签，通过使用包含图像特征和个体的凝视信息的时间变换器，以及一个新的数据集 VSGaze，该模型在 VSGaze 上的训练取得了多人凝视跟踪和社交凝视预测的最新成果。

    Mar, 2024