Oct, 2023

基于李雅普诺夫的辍学深度神经网络 (简称 Lb-DDNN) 控制器

PDF
TL;DR本研究开发了一种基于 dropout 的深度神经网络自适应控制器，该控制器通过随机选择每个层内的权重进行随机失活，并引入基于 Lyapunov 的实时权重调整规律来实现在线无监督学习。经过非光滑的 Lyapunov 稳定性分析，该控制器保证了跟踪误差的渐近收敛。与无 dropout 正则化的自适应深度神经网络控制器相比，模拟结果显示跟踪误差提高了 38.32%，函数逼近误差改善了 53.67%，控制效果降低了 50.44%。
deep neural networkadaptive controllerdropout regularizationweight adaptationtracking error
发现论文，激发创造
  • 动态系统中深度神经网络在线自适应的控制理论技术

    利用控制论技术，通过在线适应法更新深度神经网络参数，控制域偏移以及解决稳定性和迁移学习问题，提高深度神经网络基于学习的系统的性能和保证。

    Feb, 2024

  • 快速 dropout 及其在循环网络中的应用

    本文研究了快速 Dropout（一种用于常规线性模型和神经网络的正则化方法）的后向传递启发式视角，证明了它实现了自适应、参数之间的二次正则化项，对欠拟合情况下的大权重进行奖励，对过度自信预测进行惩罚，并在未正则化的训练损失极小值处消失。该正则化项的导数完全基于训练误差信号，因此没有全局权重吸引器，这可以改善 RNN 的性能。作者基于四个音乐数据集，证实了该假设。

    Nov, 2013

  • 课程辍学

    本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

    Mar, 2017

  • 基于结构化深度神经网络的拉格朗日系统反馈轨迹跟踪控制

    本研究提出了一种基于深度神经网络的控制器，用于拉格朗日系统的轨迹跟踪控制，并通过适当设计神经网络结构来确保任何兼容的神经网络参数下的闭环稳定性，进一步优化神经网络参数可实现改进的控制性能。同时，在系统模型未知的情况下，通过改进的拉格朗日神经网络结构学习系统动力学并设计控制器，在模型逼近误差和外部干扰存在时仍可保证闭环稳定性和跟踪控制性能，并通过仿真验证了该方法的有效性。

    Mar, 2024

  • AutoDropout: 学习 Dropout 模式以规范深度网络

    本文提出了一种新的 dropout 方法 —— 学习 dropout 模式。通过控制器在每个通道和层生成 dropout 模式，并利用其对目标网络进行训练，该方法被证明对图像识别和语言模型都有效。通过学习 dropout 模式，该模式还可以适应不同的任务和数据集。

    Jan, 2021

  • 连续性舍弃

    通过将传统的二值 Dropout 扩展为连续 Dropout，本文介绍了一种更贴近于神经元活动特性的 Dropout 算法，并在多个图像数据集上和其他 Dropout 算法进行对比实验，结果表明该方法在避免特征检测器的共适应方面表现更好，同时提高了测试性能。

    Nov, 2019

  • 自适应正则化的 Dropout 训练

    该研究论文通过将 dropout 解释为一种正则化方法，建立了它与 L2 正则化和 AdaGrad 的联系。进一步地，该方法可被应用于半监督学习，旨在提高模型性能，并在文本分类任务中得到了成功应用。

    Jul, 2013

  • 通过 Dropout 扩展基于学习的政策优化算法以适用于时间相关任务

    该论文介绍了一种基于模型的方法，用于针对高度非线性环境中的自主代理训练反馈控制器。我们希望该训练策略确保代理满足以离散时间信号时序逻辑（DT-STL）表达的特定任务目标。为了解决长时间跨度任务目标的问题，我们引入了一种基于随机梯度近似算法的梯度近似算法，并提出了适用于复杂规范的 DT-STL 的新的平滑语义。

    Mar, 2024

  • 单次 MC Dropout 近似

    该研究旨在通过一种单次 MC 退火的方法来提高贝叶斯变体深度神经网络的测试时间，同时保持不确定性测量的优点。经过基准测试和模拟游戏等方面的验证，该方法能够在实时部署 BDNNs 时实现预测分布的点估计和不确定性估计。

    Jul, 2020

  • Dropout 作为贝叶斯近似：在深度学习中表示模型不确定性

    本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

    Jun, 2015