需要使用复现来捕获人类视觉系统的表现动态
深度神经网络在腹侧视觉流中与脑活动相吻合。然而,灵长类动物视觉系统具有与之不同的背侧处理流,具有不同的功能性质。本研究旨在通过训练自监督几何感知递归神经网络(GRNN)来预测新的相机视图,使用 3D 特征存储器来测试该模型是否与背侧视觉区域的神经响应更吻合。与已被证明在腹侧区域中吻合良好的自监督基准模型相比较,我们发现 GRNN 在背侧脑区能更好地解释方差的比例。我们的研究结果表明了利用任务相关模型来研究视觉流之间的表征差异的潜力。
Sep, 2023
对于快速动物 vs 非动物分类任务,我们对不同阶段处理的视觉表示进行了分析,并发现人类的决策最符合中间阶段的预测结果。结果表明,人类可能依靠中等复杂度的视觉特征进行快速分类,并且现代深度网络模型所提供的视觉表示的复杂度可能超出人类在这种任务中使用的复杂度。
Jun, 2016
通过使用深度卷积神经网络模型,本文发现视觉系统中的不同神经约束可以导致视觉处理的不同阶段产生不同的表征模式,并预测小型脊椎动物的视网膜应执行非线性的特征检测计算,而大型动物的视网膜应当基本以线性方式编码视觉场景以响应广泛的刺激。
Jan, 2019
本文提出了一种无需牺牲模型容量和设计复杂度,实现递归处理步骤恒定内存复杂度的学习算法 C-RBP,该算法使递归视觉模型能够探测到长距离的空间依赖关系,并在 MSCOCO 的大规模全景分割挑战中具有比主流前向方法更好的效果。
May, 2020
人类视觉系统使用两个并行通路进行空间处理和物体识别,而计算机视觉系统往往使用单一的前馈通路,导致其鲁棒性、适应性和效率低于人类视觉。为了弥补这一差距,我们开发了一种受人类眼睛和大脑启发的双流视觉模型,模拟人眼使用巨细胞和小细胞视网膜神经节细胞将视网膜输入分离到大脑的过程。通过对比人脑和模型处理同一视频的功能对齐性,我们发现 WhereCNN 和 WhatCNN 分支分别与视觉皮层的背侧和腹侧通路相匹配,主要因为它们的不同学习目标在视觉注意和物体识别中的显著差异。这种双流模型在脑启发的计算机视觉中迈出了进一步的步伐,使并行神经网络能够主动探索和理解视觉环境。
Oct, 2023
通过对感知神经元输入输出映射建模的深度前馈神经网络提出新的计算机制提取系统方法,将此方法应用于视网膜深层网络模型。研究揭示了视网膜的预测特征提取以及各种时空刺激下信号偏离期望的计算机制,为神经科学深度学习研究提供了 新的理论基础和研究方向。
Dec, 2019
利用深度卷积神经网络,研究人员成功地探测到哺乳动物腹侧视觉途径中逐渐增加的特定特征梯度,并将不断增加的特征复杂度映射到人类大脑,从而提供了研究大脑表示如何映射的自动化方法。最终,研究表明,在先前无法实现的精度下,深度卷积神经网络可以对人脑表示进行解码,为我们提供了更敏感的窗口观察人脑。
Nov, 2014
研究表明,使用卷积神经网络 (CNN) 驱动的图像识别技术不仅能在下流视觉区域说明大脑对静态图片的反应,还能可靠地预测和解码人类观看自然电影时的功能性磁共振成像数据,并通过缺少有关时间动态或反馈处理机制的 CNN-Predicted areas 覆盖了包括腹侧流和背侧流在内的大部分视觉和语义空间。
Aug, 2016
DNNs guided by neural representations from the human ventral visual stream display increasing robustness to adversarial attacks, develop more human-like decision-making patterns, and suggest new robustness solutions by emulating the human brain.
May, 2024