感觉神经元作为转换器：置换不变神经网络用于强化学习

Sep, 2021

感觉神经元作为转换器：置换不变神经网络用于强化学习

The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning

Yujin Tang, David Ha

TL;DR基于神经网络和注意机制的复杂系统信息整合研究和探索。

Abstract

In complex systems, we often observe complex global behavior emerge from a collection of agents interacting with each other in their environment, with each individual agent acting only on locally available information, without knowing the full picture. Such systems have inspired develo

complex systems artificial intelligence neural networks attention mechanisms permutation invariant systems

发现论文，激发创造

排列不变智能体的最小神经网络模型

通过限制输入的排列和尺寸，构建了一种可以灵活应对变化，具有新型 ANN 模型的结构，该模型能够在多个控制问题上表现出 ANN 所缺乏的灵活性，并且可以处理输入索引的快速排列，证明了其在很大程度上具有优越性。

May, 2022

应用置换等变神经网络于动态预测

介绍了一种对置换对称的神经网络层，类比于卷积层，可以预测 2D 中密集互动粒子的运动，同时可以适应不同数量的对象。

Dec, 2016

关于具身化智能体行为序列的感性可交换性研究

研究提出采用群论数学形式对具有第一人称传感器的代表体的感知问题进行研究，提出了 “感受交换概率 (SCP)” 标准衡量自由度对环境的影响程度，并通过验证在不同环境下如何计算该标准得出结论。同时，通过鼓励同构动作序列和感官信息的交错来学习和提高样本效率。

Feb, 2020

随机网络中基于赫比塞塑性的元学习

受生物神经元可塑性启发，我们提出了一种搜索方法，通过寻找突触特异的赫比学习规则，使网络能在智能体的生命周期内持续自组织其权重，从而实现在一些强化学习任务中取得成功，同时对多种感官模态处理方式具有适应性。

Jul, 2020

基于感知器神经网络的仿生混沌传感器：计算神经科学概念与应用

该研究利用感知器神经网络构建了基于生物启发的混沌传感器，在计算神经科学领域具有一定应用价值。

Jun, 2023

面对不确定世界的神经缩放规律

本研究旨在探究如何最优地分布受体，提高自主神经系统在不同统计情况下的处理信息的能力，并在视觉系统的基础上解释行为型魏伯 - 费希纳定律。

Jul, 2016

带迭代注意力的通用感知器

本文介绍了 Perceiver 模型，它利用了不对关系进行假设的 Transformer，同时还能在处理非常大的输入时进行规模扩展，通过迭代地将输入压缩到一个紧凑的潜在瓶颈中，并且在图像、点云、音频、视频和视频 + 音频等多个模态的分类任务中达到了与最佳模型相当的性能。

Mar, 2021

用于声源跟踪应用的置换不变循环神经网络

本文介绍了一种基于无序集合表示输入和状态的新型循环神经网络结构，用于多源声源定位和跟踪，解决了排列不变问题，并将每个声源的信息表示为个别嵌入，实现了新的估计无论其次序如何都能分配到跟踪轨迹上。

Jun, 2023

通过权重置换训练的神经网络是通用近似器

通过证明其引导 ReLU 网络逼近一维连续函数的能力，并在各种初始化情况下实现回归任务的高效性，本文提供了对一种新颖的基于排列的训练方法的理论保证，其在不修改权重值的情况下展示出理想的分类性能。权重排列过程中的显著观察提示了排列训练可能会提供一种描述网络学习行为的创新工具。

Jul, 2024

使用脑启发的调制强化学习可以提高对环境变化的适应能力

研究提出了一种新的神经元学习规则，它使用突触前输入来调制预测误差，将其嵌入表格和深度 Q 网络强化学习算法中，可以在简单而高动态的任务中胜过传统算法，这提出了一种新的生物智能核心原则。

May, 2022