基于协作学习的分析性端到端深度学习算法

May, 2023

基于协作学习的分析性端到端深度学习算法

An Analytic End-to-End Deep Learning Algorithm based on Collaborative Learning

Sitan Li, Chien Chern Cheah

TL;DR该论文提出了一种基于平滑激活函数的全连接神经网络的端到端深度学习收敛分析方法，避免了潜在的抖动问题并且进一步采用协作学习来提高准确性，并通过案例验证了该方法的性能。

Abstract

In most control applications, theoretical analysis of the systems is crucial in ensuring stability or convergence, so as to ensure safe and reliable operations and also to gain a better understanding of the systems for further developments. However, most current deep learning methods a

deep learning convergence analysis neural networks smooth activation functions collaborative learning

发现论文，激发创造

训练神经网络的统一框架

我们提出了一个统一的优化框架，用于训练不同类型的深度神经网络，并在任意损失、激活和正则化函数上建立其收敛性。该框架推广了众所周知的一阶和二阶训练方法，并允许我们展示这些方法在各种深度神经网络架构和学习任务中的收敛性为我们的方法的一种特殊情况。

May, 2018

动态系统中深度神经网络在线自适应的控制理论技术

利用控制论技术，通过在线适应法更新深度神经网络参数，控制域偏移以及解决稳定性和迁移学习问题，提高深度神经网络基于学习的系统的性能和保证。

Feb, 2024

深度神经网络有效地学习非平滑函数

本文阐述了深度神经网络在一定情况下为何比其他模型表现更好，并通过考虑一定类别的非光滑函数，推导了使用 ReLU 激活的 DNN 的估计器的泛化误差，同时说明了 DNN 的收敛速率几乎是最优的，而某些流行的模型则未达到最优速率，这为选择合适的 DNN 层数和边提供了指导。

Feb, 2018

受控约束的深度网络模型用于增强动态系统的控制

不需了解动力学的情况下控制动态系统是一项重要且具有挑战性的任务。我们提出了一种控制理论方法，通过加入可控性约束来增强数据估计的模型，从而实现从数据中提取更有效的控制器。该方法展示了基于深度神经网络的模型估计与解决方案性质的控制理论保证之间的联系，并在两个标准经典控制系统中证明了其优势。

Nov, 2023

用于欠驱动系统的能量势控制端到端深度 Lagrangian 神经网络学习

应用深度学习于机器人控制的方法可以提高设计机器人控制定律的智能性，本文提出了一种深度控制的方法，通过扩展 DeLaN 网络到能源控制上实现了通过泛化函数逼近进行的能源控制的学习，该方法在 Furuta 摆控制方面表现出优异的实时控制性能。

Jul, 2019

基于视觉的自主系统的闭环分析：以案例为例

本文应用正式的概率分析技术对一种通过感知深度神经网络（DNN）引导飞机滑行的实验自主系统进行了案例研究，通过使用代表性图像数据集计算 DNN 的混淆矩阵来替换摄像机和网络，构建紧凑的概率抽象，以解决感知 DNN、传感器和环境条件的复杂性所带来的挑战，并展示了如何利用本地、DNN 特定的分析作为运行时保护，以提高整个系统的安全性。

Feb, 2023

健壮深度学习作为最优控制：洞见和收敛保证

研究了深度学习算法中存在的对抗性攻击问题，提供了一种新的对抗性训练算法，通过将最小 - 最大问题解释为最优控制问题进行优化，从而大幅度提高训练时间，并通过实验证明了该算法的稳定性和收敛性。

May, 2020

探索深度和循环结构用于最优控制

本文研究了多层神经网络在控制方面的应用，特别是在连续高维动作任务中，通过强化学习训练后实现了控制策略，结果表明可以成功训练具有成千上万个参数的神经网络控制器，并比较了各种不同结构。文章讨论了这一问题与以往有监督知觉任务的区别，呈现了实验结果，并讨论了将深度学习技术应用于控制问题优化的未来方向。

Nov, 2013

神经网络控制系统可达性分析

该论文提出了一种基于 Lipschitzian 优化的 NNCS 验证框架，通过证明闭环 NNCS 的 Lipschitz 连续性并消除循环来实现，相比最先进的验证方法，DeepNNC 在各种 NNC 的效率和准确性方面表现更加优秀，并通过实际的案例展示了 DeepNNC 处理复杂系统的能力。

Jan, 2023

深度神经网络在函数逼近中理论与实践之间的差距

通过计算框架来探讨深度神经网络在数值分析领域的稳定性、精确性、计算效率和样本复杂性，研究了不同维度中的测试函数和与压缩感知的比较，结果表明 DL 在实际中的性能表现仍需要进一步设计架构和训练策略。但此实践证明了深度神经网络在科学计算中具有潜在的更好性能。

Jan, 2020