Mar, 2018

通过训练循环神经网络进行空间定位，出现网格状表示的现象

PDF
TL;DR通过训练循环神经网络在 2D 区域中进行导航任务的方式，我们发现神经网络中出现了类似于网格细胞、边界细胞和其他空间相关细胞的响应模式，这些表现形式与实验观察到的现象相吻合，表明在神经回路中，类似于网格细胞和边界细胞等细胞对于有效表示空间是自然的解决方案。
neural codeentorhinal cortexspatial navigationrecurrent neural networksgrid cells
发现论文，激发创造
  • 自监督学习空间表示产生多模块网格细胞

    通过结合编码理论、动力系统、函数优化和监督深度学习等多个方法，我们提出了一个自监督学习框架，通过数据、数据增强、损失函数和网络架构等方面的优化，能够在没有监督位置信息的情况下训练出多个栅格细胞模块，且这些网络和形成的表示在训练分布之外也能很好地泛化。该研究对于对栅格细胞起源感兴趣的神经科学家以及对于新颖自监督学习框架感兴趣的机器学习研究人员具有重要洞见。

    Nov, 2023

  • 基于神经网络的空间和语言的后继代表

    使用神经网络学习多尺度接班人表达，进而构建认知地图和神经网络接班人表达的结构化知识表示形式，实现了在监督学习、强化学习和非空间任务中精确学习并逼真模拟了海马 - 内部子网所观察到的神经元放电模式，为克服深度学习在人工通用智能方面的一些缺陷提供了一种有前途的途径。

    Feb, 2022

  • 栅格细胞循环神经网络中的一致性归一化

    本研究提出了一种简单且通用的共形归一化方法，用于递归神经网络中的输入速度，以实现在高维神经空间中的局部位移与二维物理空间中的局部位移成正比，从而导致六边形网格模式的出现。

    Oct, 2023

  • 基于神经网络的语义空间认知图形生成及抽象概念的出现

    该研究使用神经网络学习 32 种动物的特征向量，并基于继承表示原理构建了一个 “动物空间” 的认知地图，该地图能够使用插值技术准确地表示完全新的或不完整的输入，并在不同的认知地图级别中呈现出不同的特征。

    Oct, 2022

  • 网格细胞及其在人工智能中的潜在应用

    本文综述了自 2005 年以来神经科学家对于网格细胞的研究，概括了它们在神经科学和认知科学中的作用，并探讨了将网格细胞整合到人工神经网络中的可能未来方向。

    Oct, 2022

  • 使用神经继承网络和词嵌入形成概念认知地图

    介绍了一种使用继任表示和神经网络的模型，以及单词嵌入向量，用于构建三个不同概念的认知图，从而根据输入提供多模态上下文信息，基于输入和预先存在的知识表示的相似性度量。

    Jul, 2023

  • 利用网格细胞进行空间特征分布的多尺度表示学习

    提出了一个名为 Space2Vec 的表示学习模型，用于将地点的绝对位置和空间关系进行编码，并在地理数据和图像分类两个任务上得到了比径向基函数和多层前馈神经网络等传统机器学习方法更好的效果，其特点是具有多尺度表示能力。

    Feb, 2020

  • 具有局部感受野的时序乘积网络中的复杂类细胞的出现

    介绍一个新的神经网络架构和无监督算法，用于学习从时间序列图像中获得不变表示，该系统使用两组复杂细胞，一个表示图像的内容，另一个表示精确的位置特征，并且使用一个编码器提取特征。

    Jun, 2010

  • 使用展开网络进行聚类归纳偏差

    在这篇论文中，我们提出了一种自动编码器架构（WLSC），其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类，生成了一组多样的人工感受野，与 V1 的灵长类动物数据具有相近的一致性，而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化，即我们为之后的皮质阶段引入了弱的聚类偏差，这是已知的功能性和空间分离（即拓扑）发生的地方。这些结果表明，在对 V1 及其之后的特征分离进行描述时，对感受野和放电率进行空间正则化至关重要。

    Nov, 2023

  • 海马自编码器中连续输入空间的离散化

    形成离散的视觉事件记忆可以在稀疏自编码神经元产生类似海马区位置细胞的空间调谐，并能在高维空间中以最小重叠的方式离散化和覆盖底层图像空间，同时在听觉领域也能类似地经验依赖性地覆盖频率空间，最后我们展示了强化学习代理能够有效地使用这些稀疏、高维表示执行各种视觉 - 空间认知任务。

    May, 2024