任务驱动的卷积循环视觉系统模型
研究比较深度卷积网络和带有循环结构的深度卷积神经网络的效果,针对视频识别、图像描述、检索以及视频叙事方面的问题,开发出一种新颖的循环卷积架构,该架构可以训练端到端,可以同时学习时间动态和卷积感知表示,并具有学习长期依赖性的能力。实验结果证明,循环卷积模型在识别或生成方面与现有的模型相比具有明显的优势。
Nov, 2014
研究深度残差网络(ResNet)、循环神经网络(RNN)和灵长类视觉皮层之间的关系。作者提出了一种将浅层RNN与ResNet进行结合以及一种基于RNN的新型神经网络架构,并通过对CIFAR-10和ImageNet数据集的测试证明了其有效性。
Apr, 2016
本研究采用时间分辨脑成像和深度学习的方法,探究人脑视觉处理的层次动态及信息流向,结果表明,回归深度神经网络模型比参数匹配前馈模型更能准确捕捉人脑视觉处理的多区域功能
Mar, 2019
本研究开发了一个具有四个解剖学区域和循环连接的 CORnet-S 模型,并研究了其在大规模神经和行为基准中的功能保真度,结果显示出 CORnet-S 比其他紧凑模型在ImageNet任务方面具有更好的性能,从而成为目前灵长类下视觉系统最好的模型。
Sep, 2019
本文提出了一种无需牺牲模型容量和设计复杂度,实现递归处理步骤恒定内存复杂度的学习算法C-RBP,该算法使递归视觉模型能够探测到长距离的空间依赖关系,并在MSCOCO的大规模全景分割挑战中具有比主流前向方法更好的效果。
May, 2020
本文研究了深度神经网络的层次结构特征,发现递归神经网络与前馈网络在提取特征和处理深层次信息方面表现出类似的表现和性能优越,且递归模型能够模拟前馈模型的行为并使用更少的参数来实现图像分类和迷宫问题的求解。
Feb, 2021
本文发现,尽管深度学习神经网络在图像识别任务上比人类表现更好,但它们不能很好地预测自然图像在颞下皮层(IT cortex)的神经响应,我们提出了神经协调器,通过该工具可以纠正这个问题。
Jun, 2023
通过研究大规模可视化模型中循环神经网络(RNN)的表征动力学,发现推理过程中表征持续演化,且错分表征表现出较低的L2范数激活模式,并更靠近读出区域的边缘,这种排列方式有助于错分表征随时间进展逐渐进入正确的区域,结果对于理解自然任务中RNN动力学具有普适意义。
Aug, 2023
卷积神经网络是建模视觉皮质神经元转移函数的最先进方法。这篇论文发现,与参数匹配的标准卷积神经网络相比,非局部网络或自注意机制在整体调谐曲线相关性和调谐峰值这两个关键度量上可以提高神经响应预测,并且可通过分解网络确定每个上下文机制的相对贡献,揭示了局部感受野中的信息对于模拟整体调谐曲线最为重要,而周围信息对于表征调谐峰值至关重要;并且在学习过程中自注意力可以取代后续的空间整合卷积,与全连接输出层相结合,两种上下文机制相辅相成;最后,学习以接受感受野为中心的自注意模型,在逐步学习全连接输出之前,能够提供更具生物学现实性的中心-周围贡献的模型。
Jun, 2024
我们提出了一种名为“动态网络架构”的新型智能系统架构,该架构依赖于稳定循环网络,并讨论其在视觉上的应用。我们的模型通过解释小区域网的较复杂特征为层次特征表示,与人工神经网络(ANNs)本质上不同。通过动态连接主义原则,我们的模型通过自组织机制,结合Hebbian可塑性和定期加强的抑制来稳定初级传入信号引起的神经激活。我们通过将线条片段组合成较长线条的实验,证明了DNA的可行性,即使在每个空间位置引入了高达59%的噪声,线条表示的构建仍然保持稳定。此外,我们展示了该模型能够从部分遮挡的输入中重建预期特征,并且可以推广到训练期间未观察到的模式。在本研究中,我们限制DNA在一个大脑皮层区域,并关注其内部机制,提供了关于一个独立区域的优势和不足的深入理解,并展望了未来工作如何通过组合多个区域来实现不变的物体识别。
Jul, 2024