May, 2024

使用概念器实现循环神经网络的自适应控制

PDF
TL;DR本文展示了通过将网络的某些部分保持适应性，即使在训练之后，增强了其功能和稳健性，并且展示了适应性网络在插值、网络部分退化稳定化和输入扭曲鲁棒性方面的计算功能，同时强调了适应性网络在机器学习中的潜力，使其不仅能学习复杂模式，还能动态调整以适应不断变化的环境，从而扩大其适用范围。
recurrent neural networkstemporal patternsadaptive control loopinterpolationchanging environments
发现论文，激发创造
  • 用概念器控制递归神经网络

    提出一种神经动力学机制 (conceptors)，它将非线性动力学与基本的概念抽象和逻辑原则相结合，可以在一个神经系统中学习、存储、抽象、聚焦、变形、概括、去噪和识别大量的动力学模式。

    Mar, 2014

  • 动态系统中深度神经网络在线自适应的控制理论技术

    利用控制论技术，通过在线适应法更新深度神经网络参数，控制域偏移以及解决稳定性和迁移学习问题，提高深度神经网络基于学习的系统的性能和保证。

    Feb, 2024

  • 合理神经网络控制器

    本文研究了使用合理神经网络控制理论，针对神经反馈环的鲁棒性问题，设计了合理激活函数，并构建了一个内在可凸性结构的合理神经网络，通过对 Sum of Squares 可行性测试进行优化，成功实现了对具有非线性噪声和参数不确定性植物的神经反馈环的稳定化控制

    Jul, 2023

  • 探索深度和循环结构用于最优控制

    本文研究了多层神经网络在控制方面的应用，特别是在连续高维动作任务中，通过强化学习训练后实现了控制策略，结果表明可以成功训练具有成千上万个参数的神经网络控制器，并比较了各种不同结构。文章讨论了这一问题与以往有监督知觉任务的区别，呈现了实验结果，并讨论了将深度学习技术应用于控制问题优化的未来方向。

    Nov, 2013

  • 秩序中的秩序：结构化神经元的循环网络中发育和学习的相互作用

    通过应用局部、始终开启的可塑性规则，我们能够在由两个群体组成的递归网络中学习复杂序列，我们的模型具有资源高效性，仅需少量神经元即可学习复杂序列，我们通过鸟鸣学习的模拟中展示了这些特点，在该模拟中，我们的网络首先学习了一个长的非马尔可夫序列，尽管存在外部干扰，它们能够稳健地复现此序列。

    Feb, 2024

  • 需要就是一切：稳态神经网络适应概念漂移

    介绍一种具有自我调节能力的人工神经网络，利用其对内部状态的自我监控和调节来提高其在概念转移和高变化环境下的适应性。

    May, 2022

  • 具有循环生成反馈的神经网络

    通过引入生成循环反馈，本文在卷积神经网络上实现了一种用于保证自我一致性的框架，并在标准基准测试中展示了 CNN-F 相对于传统前馈 CNN 的显着提高的对抗性鲁棒性。

    Jul, 2020

  • 控制任务中的循环架构的神经进化

    该研究提出了一种新方法，即利用少量的突变规则来动态演化循环神经网络的结构，其结果表明，这种方法可以在大多数情况下匹配或超过梯度下降方法的性能，同时使用数量级更少的参数，该方法有望在对网络紧凑性和自主设计至关重要的实际应用方面开辟新的途径。

    Apr, 2023

  • 通过闭环控制实现稳健神经网络

    本文提出一种通过闭环控制方法解决神经网络鲁棒性问题的方法，通过嵌入数据流形的几何信息和优化控制，以实现对各种数据干扰的鲁棒性，本方法为通过闭环控制提高神经网络鲁棒性的首次尝试。

    Feb, 2021

  • 基于记忆的参数适应

    通过存储案例，使用基于上下文的查找直接修改神经网络的权重，以 Memory-based Parameter Adaptation 为核心的方法，可以在监督任务中有效地改善深度神经网络的性能和训练速度。

    Feb, 2018