Oct, 2024

上下文语义相关性度量在人类视觉处理中的作用

HTML
PDF
TL;DR本研究针对以往研究中未充分考虑上下文信息的不足，提出上下文语义相关性度量，以评估目标物体与其周围环境之间的语义关系。通过应用先进的深度学习技术，研究发现这些度量能够精准预测视觉感知中的注视行为，组合度量的表现优于其他度量，为理解视觉认知中语义与视觉信息的相互作用提供了新视角。
发现论文，激发创造
  • 深度分析快速视觉分类的特征

    对于快速动物vs非动物分类任务，我们对不同阶段处理的视觉表示进行了分析，并发现人类的决策最符合中间阶段的预测结果。结果表明，人类可能依靠中等复杂度的视觉特征进行快速分类，并且现代深度网络模型所提供的视觉表示的复杂度可能超出人类在这种任务中使用的复杂度。

    Jun, 2016

  • 人眼注视期间视觉搜索目标的视觉解码

    研究使用深度卷积神经网络和生成式图像模型将人类注视视线信息解码成视觉目标的图像表示，结果显示出62%的准确率

    Jun, 2017

  • 将视觉物体识别置于上下文中

    该论文提出了一个生物学上启发的上下文感知对象识别模型，该模型由双流体系结构组成，动态地整合对象和上下文信息，并顺序推理目标对象的类标签，该模型不需要为每个任务重新训练，在各种行为任务中近似人类水平性能，捕捉上下文增强对图像属性的依赖性，并提供了整合场景和对象信息进行视觉识别的初始步骤。

    Nov, 2019

  • 从上下文描述中检索图像

    本文介绍了新的多模态挑战 ImageCoDe，探讨当前视觉-语言模型集成上下文、包括感知和时间信息的能力。通过从一批候选图像中选择正确的图像作为回应上下文描述，验证了多种现代模型的表现，并发现相对于人类表现差距巨大。文章介绍了新的模型变体及其改进效果，希望 ImageCoDe 能够推动视觉理解领域的进步。

    Mar, 2022

  • 定位与语义：语言如何促进视觉表征学习？

    我们通过探测的方式比较了视觉-语言模型和仅视觉模型的视觉表征，在广泛的任务范畴内评估学习表征的质量，发现视觉-语言模型更适合标签预测任务，而仅视觉模型更适合需要更多局部信息的密集预测任务，同时指出语言有利于视觉模型更好地学习语义，但不利于定位。

    Dec, 2022

  • 从稳定的循环视觉模型计算类人反应时度量

    本文介绍了一种通用方法，基于主观逻辑理论和重复视觉模型中的证据累积，构建对反应时间的计算机解释， 并证明它可以与人类的视觉决策方式进行对齐。

    Jun, 2023

  • 多模态大型语言模型在预测语言处理中体现人类式的视觉-语言整合的证据

    大型语言模型（LLMs）的高级语言处理能力引发了关于它们是否能够复制类似人类认知过程的能力的讨论，本文通过研究多模态语言模型（mLLMs）中的视觉关注权重，发现与人类一样，mLLMs中基于多模态输入的预测性语言处理过程也会受到视觉特征的注意引导。

    Aug, 2023

  • 基于自然语言处理的方法：通过理解街景图像中的深层语义特征进行人类感知的映射

    利用预训练自然语言模型的新框架，结合街景图像和机器学习，深入理解人类感知和场景感受之间的关系，并发现利用深层语义特征对于人类感知研究的重要性和解释力的提升。

    Nov, 2023

  • 基于注意力的语义相关性预测中文句子阅读

    该研究提出了一种具有注意力机制的方法来计算上下文语义相关性，这种方法能更准确地预测眼动数据库中基于汉语阅读任务的定视持续时间，并具有高解释性，有助于深入理解语言理解过程。

    Mar, 2024

  • 基于语义的人形机器视觉任务的主动感知技术与视点焦点传感器

    通过使用语义信息，可以在场景探索和视觉搜索任务中有效地完成视觉任务，从而证明了语义模型在视觉任务中的优越性。

    Apr, 2024