双流神经网络解释人类大脑中背侧和腹侧视觉通路的功能分离

Oct, 2023

双流神经网络解释人类大脑中背侧和腹侧视觉通路的功能分离

A Dual-Stream Neural Network Explains the Functional Segregation of Dorsal and Ventral Visual Pathways in Human Brains

Minkyu Choi, Kuan Han, Xiaokai Wang, Yizhen Zhang, Zhongming Liu

TL;DR人类视觉系统使用两个并行通路进行空间处理和物体识别，而计算机视觉系统往往使用单一的前馈通路，导致其鲁棒性、适应性和效率低于人类视觉。为了弥补这一差距，我们开发了一种受人类眼睛和大脑启发的双流视觉模型，模拟人眼使用巨细胞和小细胞视网膜神经节细胞将视网膜输入分离到大脑的过程。通过对比人脑和模型处理同一视频的功能对齐性，我们发现 WhereCNN 和 WhatCNN 分支分别与视觉皮层的背侧和腹侧通路相匹配，主要因为它们的不同学习目标在视觉注意和物体识别中的显著差异。这种双流模型在脑启发的计算机视觉中迈出了进一步的步伐，使并行神经网络能够主动探索和理解视觉环境。

Abstract

The human visual system uses two parallel pathways for spatial processing and object recognition. In contrast, computer vision systems tend to use a single feedforward pathway, rendering them less robust, adaptive, or efficient than human vision. To bridge this gap, we developed a

dual-stream vision model object recognition spatial attention brain-inspired computer vision visual surroundings

发现论文，激发创造

基于双流注视的主动视觉学习

基于 “双流假设” 的二元流视觉学习框架通过模拟人类视觉皮层的神经处理机制，利用深度神经网络来处理输入图像，实现了物体属性的预测和边界框的定位。

Mar, 2024

背侧视觉通路的三维视图预测模型

深度神经网络在腹侧视觉流中与脑活动相吻合。然而，灵长类动物视觉系统具有与之不同的背侧处理流，具有不同的功能性质。本研究旨在通过训练自监督几何感知递归神经网络（GRNN）来预测新的相机视图，使用 3D 特征存储器来测试该模型是否与背侧视觉区域的神经响应更吻合。与已被证明在腹侧区域中吻合良好的自监督基准模型相比较，我们发现 GRNN 在背侧脑区能更好地解释方差的比例。我们的研究结果表明了利用任务相关模型来研究视觉流之间的表征差异的潜力。

Sep, 2023

深度神经网络揭示脑的腹侧视觉通路中神经表征复杂度的梯度

利用深度卷积神经网络，研究人员成功地探测到哺乳动物腹侧视觉途径中逐渐增加的特定特征梯度，并将不断增加的特征复杂度映射到人类大脑，从而提供了研究大脑表示如何映射的自动化方法。最终，研究表明，在先前无法实现的精度下，深度卷积神经网络可以对人脑表示进行解码，为我们提供了更敏感的窗口观察人脑。

Nov, 2014

利用人类腹侧视觉通路提高神经网络的稳健性

DNNs guided by neural representations from the human ventral visual stream display increasing robustness to adversarial attacks, develop more human-like decision-making patterns, and suggest new robustness solutions by emulating the human brain.

May, 2024

从视网膜到皮层的早期视觉表征的统一理论：基于解剖约束深度卷积神经网络

通过使用深度卷积神经网络模型，本文发现视觉系统中的不同神经约束可以导致视觉处理的不同阶段产生不同的表征模式，并预测小型脊椎动物的视网膜应执行非线性的特征检测计算，而大型动物的视网膜应当基本以线性方式编码视觉场景以响应广泛的刺激。

Jan, 2019

使用深度学习进行动态自然视觉的神经编码和解码

研究表明，使用卷积神经网络 (CNN) 驱动的图像识别技术不仅能在下流视觉区域说明大脑对静态图片的反应，还能可靠地预测和解码人类观看自然电影时的功能性磁共振成像数据，并通过缺少有关时间动态或反馈处理机制的 CNN-Predicted areas 覆盖了包括腹侧流和背侧流在内的大部分视觉和语义空间。

Aug, 2016

需要使用复现来捕获人类视觉系统的表现动态

本研究采用时间分辨脑成像和深度学习的方法，探究人脑视觉处理的层次动态及信息流向，结果表明，回归深度神经网络模型比参数匹配前馈模型更能准确捕捉人脑视觉处理的多区域功能

Mar, 2019

BIMM: 基于脑神经灵感的视频表示学习

我们提出了脑启发的 Masked 建模 (BIMM) 框架，通过学习图像和视频表示，使用视觉变换器 (ViT) 作为骨干，并在训练过程中采用部分参数共享策略，在模拟人脑的视觉通路中取得了优越的性能。

May, 2024

深度学习用于视觉神经假肢

视觉途径、视觉感知、视觉编码、神经假肢和计算模型是重要研究领域。该文章介绍了视觉感知的重要性，讨论了视觉信息编码和大脑中信息组织的机制，以及如何使用计算模型来实现神经假肢并提高对于视觉编码和自然视觉的理解。

Jan, 2024

计算机视觉中的人类感知

本文研究计算机视觉、深度神经网络（DNN）、人类视觉感知和无体系结构视觉学习之间的联系，并发现 DNN 计算可用于估计感知损失，并与有趣的理论观点一致，即人类感知的特性是视觉学习无体系结构的结果。

Jan, 2017