Aug, 2023

递归神经网络中物体识别的表示动态特性

PDF
TL;DR通过研究大规模可视化模型中循环神经网络（RNN）的表征动力学，发现推理过程中表征持续演化，且错分表征表现出较低的 L2 范数激活模式，并更靠近读出区域的边缘，这种排列方式有助于错分表征随时间进展逐渐进入正确的区域，结果对于理解自然任务中 RNN 动力学具有普适意义。
recurrent neural networksobject classificationrepresentational dynamicsactivation trajectoriesnaturalistic tasks
发现论文，激发创造
  • 任务驱动的卷积循环视觉系统模型

    通过引入前馈卷积神经网络与反馈式局部循环连接设计，提高图像识别准确性，更加贴近灵长类动物视觉系统的神经活动，为当代物体识别任务的研究提供了新的思路。

    Jun, 2018

  • 需要使用复现来捕获人类视觉系统的表现动态

    本研究采用时间分辨脑成像和深度学习的方法，探究人脑视觉处理的层次动态及信息流向，结果表明，回归深度神经网络模型比参数匹配前馈模型更能准确捕捉人脑视觉处理的多区域功能

    Mar, 2019

  • 大规模循环网络中神经动力学的普遍性和个体差异

    通过研究数千个基于神经科学的任务训练的网络，我们发现基于表示几何的相似度测量在不同网络结构中可能高度敏感，并且无论架构如何，神经动力学的计算骨架通常表现出普遍性。

    Jul, 2019

  • 当表示对齐时：在表示学习动态中的普适性

    在复杂的大规模架构中，深度神经网络的表征学习动态可以用编解码映射为任意平滑函数的有效理论来描述，该理论能够概括多种不同激活函数和架构的深度网络的表征学习动态，并展现类似于 “丰富” 和 “懒惰” 区域的现象。

    Feb, 2024

  • 利用区域提议交互网络学习长期视觉动态

    本论文通过 Region Proposal Interaction Networks 的方法在潜在区域建立对象表示来捕捉对象间和对象环境交互，并在长期预测中尤为有效，提高了预测质量和规划下游任务的能力，同时在新环境中具有良好的泛化性能。

    Aug, 2020

  • 神经群体动态和几何的可解释统计表征

    本研究提出了一种基于统计学习的无监督几何深度学习框架，利用局部相空间特征的统计分布来表示非线性动态系统，该方法提供了鲁棒的几何感知或几何无关的表示，可用于测量轨迹的基础上进行无偏的动力学比较，并设计了一种具有最先进准确性的解码算法。

    Apr, 2023

  • 情绪分类的循环网络反向工程揭示了线吸引子动力学

    本文利用动态系统分析工具来反向工程文本情感分类的循环神经网络，证明训练过的循环神经网络可以收敛到高度可解释、低维表示的固定点，并揭示循环神经网络内部存在近似线吸引子的机制以量化的方式解释循环神经网络完成情感分析任务的过程。此外，该机制在多个数据集和不同架构下仍然存在，呈现出令人惊讶的通用性和可解释性。

    Jun, 2019

  • 恒河猴皮层人口动态推断

    本文介绍了一种基于递归神经网络（RNN）的神经元群体动态行为的建模方法，该方法经过 macaque 大脑皮层的四个数据集的测试，效果较其他模型更好，其中，RNN 的自回归偏差是实现最高水平性能的关键因素之一。此外，提出了一个新的混合架构，将 RNN 与自我关注补充在一起，从而进一步提高性能。

    Apr, 2023

  • 学习循环表示以进行层次化行为建模

    本文章提出了一个基于生成式循环神经网络的框架，用于检测动作模式并对动物的感觉 - 运动关系进行建模，在果蝇行为和在线手写字迹两种数据上进行了测试，结果表明，利用未标记的序列通过预测未来运动显著地提高了在训练标签稀缺时动作检测的表现，该网络可以学习到高级现象，如作者身份和果蝇性别，且无需监督，在将运动预测作为网络输入生成的模拟运动轨迹看起来真实，可用于定性评估模型是否学习到了生成控制规则。

    Nov, 2016

  • 使用人工神经网络探究依赖于海马的任务中场景感知的神经表示

    该研究通过使用三元组损失训练深度神经网络，使其学习场景感知任务和无监督的目标分割，在编码和解码中使用分解的潜在空间，实现在视角变换时实现场景的转换和重建。

    Mar, 2023