May, 2021

深度神经网络的性能与对于微分同胚的相对稳定性相关

PDF
TL;DR通过定义最大熵概率分布，研究了给定范数下的典型微分同胚，确认了深度学习中关于稳定性的一些传统假设，以及微分同胚相对于普通变换的稳定性与测试误差之间的相关性。
deep netsdiffeomorphismsperformancetest errorinvariant learning
发现论文，激发创造
  • 欧几里得流形变换：用于学习稳定动力系统的微分同胚约简

    通过利用人类运动的规律性属性（例如稳定性、平滑性和有界性），将复杂运动编码为稳定动力系统的展开，进而提出一种通过有限的人类演示来学习这类运动的方法，并通过验证在已建立的基准测试和在现实世界的机器人系统上的演示进行论证。

    May, 2020

  • 分类器对于通用扰动的稳健性：几何视角

    本文通过理论分析和几何方法，探究深度神经网络在面对普适性扰动时的稳健性，并揭示了决策边界几何形态（平坦或曲线）与稳健性之间的关系，证明了在正曲率方向上存在共享决策边界的情况下，存在极小的普适性扰动。

    May, 2017

  • 深度卷积表达的群不变性、形变稳定性和复杂性

    本文研究了深度卷积体系结构的多尺度不变表示问题，提出了基于卷积核网络的多层核方法，分析了核映射引起的几何学效应，表明可以将数据表示与学习分离，提出了模型复杂度的规范化测量，即控制所学模型的稳定性和泛化能力的重复核希尔伯特空间规范，证明了已有卷积神经网络能够映射到该空间中。

    Jun, 2017

  • 通过分布扰动分析进行稳定性评估

    通过分析数据集的分布扰动来评估学习模型的稳定性，利用最优输运法来量化该扰动，从而解决现实场景中常见的数据损坏和子集群转移两种分布转移类型问题，同时提供了可行的凸优化问题和计算方法以实现实际应用的价值。

    May, 2024

  • 用于本地稳定深度神经网络的流形正则化

    本文使用流形正则化的概念开发了新的正则化技术，以训练具有局部稳定性的深度神经网络；我们的正则化器基于图拉普拉斯矩阵的稀疏化，当数据在高维空间中稀疏时，能够高概率地保持；经验证明，我们的网络表现出稳定性，并能够在不同的扰动模型下经受良好的检验；此外，我们的技术高效，并且与网络的额外两个并行前向传递的开销相当。

    Mar, 2020

  • 在具有随机特征和核模型中学习不变性

    该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

    Feb, 2021

  • 卡通函数上的深度卷积神经网络

    该论文证明，深层卷积神经网络的变形稳定性和垂直平移不变性由网络结构本身而非特定的卷积核和非线性保证。该论文的主要贡献是建立了一种考虑结构特征的变形稳定性界限，特别是为 Donoho 于 2001 年引入的漫画函数类确定了变形稳定性界限。

    Apr, 2016

  • 环面上的深度神经网络：消除对称性揭示平衡点结构的几何形态

    通过探索误差空间，我们证明了最小值的平坦程度与泛化性能的相关性，并发现在函数空间中，最小值之间的距离更近略微平坦，通过优化算法可以连接彼此

    Feb, 2022

  • 分类问题中是否存在稳定的神经网络？-- 人工智能稳定性的新视角

    在深度学习中，我们引入了一种新的稳定性测量方法，适用于研究不连续函数及其逼近的稳定性。通过证明两个逼近定理，我们展示了对于任何分类函数，都可以构建一个神经网络使其在小于一定误差的测度内准确且稳定，同时也可以构建一个神经网络使其与分类函数在离决策边界至少一定距离的点上相等。

    Jan, 2024

  • 深度网络中对称性的理解

    本研究针对深度网络权重空间中的对称性问题，探讨了使用基于单位范数的约束来改善权重空间对称性问题的方法，并通过 MNIST 数据集上的实验证明该方法优于批量归一化方法且不会影响权重更新的计算性能。

    Nov, 2015