Jun, 2024

动态视觉刺激的神经表征

PDF
TL;DR人类通过不断变化的视觉刺激来感知世界，其中场景可以移动、改变外观和距离。这篇研究论文针对动态视觉刺激的大多数研究聚焦于静态刺激，限制了对人类视觉的调查。与之相反，动态视觉刺激提供了更符合生态有效性的方法，但由于时空信息的相互作用，使得解耦稳定图像特征和运动表征的困难增加。为了解决这个问题，在动态输入情况下，我们明确地解耦了人脑中静态图像表征和运动表征的建模。三个结果证明了这个方法的可行性。首先，我们展示了视觉运动信息（如光流）可以从 fMRI 测得的脑活动中预测（或解码）出来。其次，我们展示了可以使用这个预测运动来使用基于运动条件的视频扩散模型（其中运动由 fMRI 脑活动驱动）逼真地使静态图像动画化。第三，我们展示了在相反方向上的预测：现有的视频编码器可以进行微调，从视频图像中预测 fMRI 脑活动，并且相较于图像编码器能更有效地进行预测。这项基础工作为解释人类大脑如何处理动态视觉信息提供了一种新颖且可扩展的框架。
visual perceptiondynamic visual stimulifmriimage representationsmotion representations
发现论文，激发创造
  • 思维动画化：从缓慢的脑活动中解耦动态自然视觉重建

    提出了一种名为 Mind-Animator 的两阶段模型，通过脑活动数据可以重构人类动态视觉，并在三个公共数据集上达到最先进的性能，通过特征解耦和融合，证实了重构视频的神经学解释性。

    May, 2024

  • 静态图像的动作幻觉用于动作识别的 Im2Flow 算法

    通过一个 encoder-decoder CNN 和 optical flow 方法，我们的研究为静态图像动作识别提供了一个新方法，即学习一个短期动态先验，在新的静态图像上推断预期的光流，成功地将学习的动作转移至标准的两流网络中，并且在七个数据集上表现出了良好的性能。

    Dec, 2017

  • 用于视觉运动控制的三维神经场景表示

    本文提出了一种从 2D 视觉观察中学习动态 3D 场景模型的方法，结合神经放射场、时间对比学习和自动编码框架，可以学习到视点不变的 3D 感知场景表示，进而实现包括刚体和流体在内的具有挑战性的操作任务的视觉运动控制和未来预测，并支持摄影机视点外训练分布的目标规定，此外，还对不同系统设计进行了详细的改变研究和学习的表示的定性分析。

    Jul, 2021

  • NeuroCine: 从人脑活动解码生动视频序列

    在理解人类大脑视觉处理的复杂性中，从大脑活动中重建动态视觉体验成为一项具有挑战性且引人入胜的努力。本研究引入了 NeuroCine，一种新颖的双相框架，针对解码 fMRI 数据中固有的挑战，如噪声、空间冗余和时间滞后。该框架通过对比学习 fMRI 表示进行空间遮蔽和时间插值增强，以及依赖性先验噪声增强的扩散模型用于视频生成。在一个公开可用的 fMRI 数据集上进行了测试，我们的方法显示出有希望的结果，通过 SSIM 测量，在解码三个主题的 fMRI 数据集中，与先前最先进的模型相比，分别提高了 20.97％，31.00％和 12.30％。此外，我们的注意力分析表明该模型与现有的大脑结构和功能相吻合，表明其具有生物学合理性和可解释性。

    Feb, 2024

  • 脑形式化：将 MRI 脑功能建模到机器视觉中

    通过引入新颖的基于 Transformer 的 Brainformer 方法，分析人类感知系统中 fMRI 模式，并将其作为监督机制应用于机器视觉模型，通过实验证明，在各种图像识别任务中，利用 fMRI 信息可以实现与当前最先进方法相比的潜在结果。

    Nov, 2023

  • 人类极简视频对动态识别模型的启示

    研究了人类视觉中空间和时间信息的整合机制，提出了最小视频概念，并发现当前动态视觉识别网络无法重现人类对于整合空间和时间非常有效的能力。

    Apr, 2021

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • 需要使用复现来捕获人类视觉系统的表现动态

    本研究采用时间分辨脑成像和深度学习的方法，探究人脑视觉处理的层次动态及信息流向，结果表明，回归深度神经网络模型比参数匹配前馈模型更能准确捕捉人脑视觉处理的多区域功能

    Mar, 2019

  • 电影式大脑景观：基于脑活动的高质量视频重建

    通过对连续 fMRI 数据的渐进式脑掩蔽建模、多模式对比学习以及深度网络训练等方案，提出了 Mind-Video 模型，能够以对抗性指导的方式从连续谷氨酸受体成像数据中高质量地重建任意帧率的视频，并在语义分类和结构相似性指数等方面优于先前的最先进水平 45％，同时还具有生物可行性和可解释性。

    May, 2023

  • 使用多视角动态图像进行深度视频动作识别

    该研究扩展了动态成像技术在深度领域的应用，提出了多视角动态图像的概念，并通过卷积神经网络实现了特征学习与动作分析。

    Jun, 2018