Apr, 2024

HCEye：探索视觉突出和认知负荷对用户注意力和显著性预测的动态转移

PDF
TL;DR通过分析来自 27 位参与者对 150 个独特网页的眼动数据，本论文研究了视觉突出显示（永久和动态）和双重任务引起的认知负荷对凝视行为的联合影响。我们的实证研究表明，尽管认知负荷增加时参与者对界面元素的注意力有所减少，但动态调整（即高亮显示）仍然具备吸引力。这些因素的存在显著改变了人们的注意力焦点，因此也改变了显著性。同时，我们展示了当考虑到不同认知负荷时，最先进的显著性模型的性能得到了提升。我们的实证洞察力以及我们公开可用的数据集，增进了我们对多任务情境下用户界面中注意力过程的理解，并为能够预测用户在多任务中的注意力的新模型开辟了道路。
visual highlightingcognitive loadgaze behaviorsaliency modelsattentional processes
发现论文，激发创造
  • 增强监控任务中的显著性预测：视觉亮点的作用

    本研究探讨了视觉亮点在指导无人机监测任务中用户注意力方面的作用，采用了用于观察的模拟界面。实验结果显示，这种亮点能够显著加快对应区域的视觉注意力。基于此观察，我们利用亮点中的时空信息开发了一种新的显著性模型：亮点驱动显著性模型 (HISM)，用于推断亮点条件下的视觉注意力变化。我们的发现表明，视觉亮点在增强用户注意力方面非常有效，并展示了将这些线索纳入显著性预测模型的潜力。

    May, 2024

  • 预测图形设计文档中的视觉注意力

    我们提出了一种用于预测图形设计文档中视觉注意力的模型，该模型是首个尝试使用基于深度学习的模型预测文档区域被凝视的空间注意力和动态时间顺序。通过提出的两阶段模型，我们能够预测图形设计文档中的动态注意力，并在眼动实验中显示出比现有模型更好的性能。

    Jul, 2024

  • 理解和建模任务与环境对驾驶员注视分配的影响

    驾驶员注意力、注视预测、任务和环境、显著性和 DR (eye) VE 数据集是该研究的主要关键词和研究领域。

    Oct, 2023

  • 对解释自由观察注视时显着性和物体中心偏倚假设的调和

    研究自然场景中人们的注意力转移，在低层图像显著性和高层语义信息等方面提出了两个看似相互矛盾的提示，其中分析了物体中心偏置的影响，并提出了一种结合低层视觉显著性和物体中心偏置的模型，旨在深入了解人类在观察场景和对象时使用的策略，并展示结合低层视觉显著性和高层物体信息的模型的构建。

    Mar, 2015

  • 与人类视线互动的神经图像字幕生成

    通过研究人类注视和深度神经网络注意力机制之间的相互作用，我们提出了一种新的注视辅助图像字幕模型，将人的注视信息集成到基于注意力的 LSTM 结构中，能够将算法选择性地分配到注视和非注视的图像区域，这种方法通过对 COCO / SALICON 数据集的评估，显示了我们方法改善了图像字幕性能，并且注视可以补充机器的注意力，提高了语义场景理解的任务。

    Aug, 2016

  • 行动之前起身：利用人类的视觉注意力进行持续学习

    本文介绍了在 DeepMind Lab 的三维迷宫中，通过训练代理使用原始图像以及与基于实时谱残差技术生成的显著性地图相叠加的凝视图像，探索利用人类注意力聚焦来进行决策的有效性，并研究了在环境噪声下的迁移学习表现。

    Jul, 2018

  • 图像字幕中的人类注意力：数据集和分析

    研究通过使用新的包含视觉图像和口头描述的数据集，比较了人类在自由观看和图像描述任务中的注意力差异以及注意力部署机制，并分析了软注意机制与人类注意力之间的相似性。最终表明人类注意力与当前的软注意机制仍存在较大差距，并且将软注意机制与视觉显著性进行集成，可以在 Flickr30k 和 MSCOCO 基准测试中显著提高模型的性能。

    Mar, 2019

  • 人类注意力建模的趋势、应用与挑战

    人类注意力建模在近年来已被证明特别有用，不仅用于理解视觉探索的认知过程，还可以为旨在解决各个领域问题的人工智能模型提供支持。本综述对近期将人类注意机制整合到当代深度学习模型中的努力进行了理性概述，并讨论了未来的研究方向和挑战。

    Feb, 2024

  • 眼中的行为：动态注视数据集和学习显著性模型用于视觉识别

    本研究使用人眼追踪数据结合计算机视觉，探究了视觉搜索模式的稳定性、计算机视觉的空间 - 时间兴趣点采样策略与人类注视策略之间的差异，证明人类注视可以被准确预测，且在使用先进计算机视觉实践建立端到端可训练的计算机视觉系统时表现优良。

    Dec, 2013

  • 利用设备集成与可穿戴传感器预测日常移动交互期间的用户关注

    该论文介绍了一种使用设备集成传感器和身体佩戴相机的方法来预测用户在移动设备上的视觉注意力行为，并探讨了其在不同特征集下的性能和潜力。

    Jan, 2018