Apr, 2015

带有随机高斯权重的深度神经网络：一种通用的分类策略？

PDF
TL;DR本研究证明深度神经网络具有保留核心信息、能准确处理不同类别数据和传递关于未见数据的信息等重要属性，同时实现距离保持嵌入，并验证此结果适用于现有各类深度神经网络。
deep neural networksdistance-preserving embeddingmetric learningtraining setunseen data
发现论文，激发创造
  • 神经网络权重是否考虑类中心？

    本文旨在解决神经网络最后一个隐藏层的特征空间假设问题，提出并分析了一种满足此假设的对称性，并且验证了其在训练稳定性过程中的有效性。

    Apr, 2021

  • 神经网络的迷人特性

    本论文在研究深度神经网络的高层特性时，发现高层单元与随机线性组合之间没有明显差别，并得出神经网络学习的输入输出映射具有不连续性以及网络可被微小扰动误分类等结论。

    Dec, 2013

  • 深度加权平均分类器

    本文提出了一种简单的方法，通过从非参数核回归中的一些想法得出训练实例的加权总和来预测标签，并在符合性方法的框架内提出了一种新的非一致性测量法，实验验证了理论预期，证明了在不影响准确性或校准的情况下，提高了透明度、可控的错误率和抵抗域外数据的鲁棒性。

    Nov, 2018

  • 使用浅层神经网络学习的生成模型的高斯等效性

    通过研究神经网络在预训练生成模型产生的数据集上的训练和表现，探讨数据结构对学习的计算效率的影响，证明了高斯等价性可以使用一个适当选择的高斯模型来完全捕获感兴趣的关键性能指标。

    Jun, 2020

  • 神经红移：随机网络不是随机函数

    神经网络的归纳偏见和简单性偏见对于深度学习的成功是重要的，可以通过不同的架构进行控制。

    Mar, 2024

  • 图像分类器的鲁棒性和不变性属性

    本文研究了深度神经网络在噪声环境中的鲁棒性和不变性，提出了快速计算稀疏对抗扰动和数据增强方法，与数据之间的特征联系起来，以实现更可靠的机器学习系统。

    Aug, 2022

  • 深度稳健学习 - 针对外部分布泛化

    本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题，并通过学习训练样本的权重以消除特征之间的依赖关系，从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验，与同类研究相比，我们的方法取得了很好的效果。

    Apr, 2021

  • 从经验观察到普适性：基于高斯混合构建输入的深度学习动态

    本研究通过深入研究具有展现高斯混合（GM）结构特征的输入的神经网络动力学来拓宽深度学习的理论框架的范围。我们分析了神经网络在具有 GM 结构输入下的动力学如何与基于简单高斯结构的传统理论的预测不同。我们的研究揭示了即使在标准化的 GM 输入下，神经网络动力学也会趋向于传统理论，突显出这种意外的普遍性。我们发现标准化，特别是与某些非线性函数相结合，对于这种现象起着关键作用。因此，尽管 GM 分布的复杂性和多样性，我们证明了神经网络在简单高斯框架下表现出符合预测的渐近行为。

    May, 2024

  • 对分类器分类：剖析神经网络的权重空间

    本文介绍了一个关于神经网络权重的实证研究。通过采样多种不同神经网络分类器的训练变化，使用机器学习方法从权重空间中提取和分析信息，特别地构建了一些新型的深度元分类器，用于检测通过超参识别并在优化过程中编码为权重的模式，从而提供了一种新颖和互补的可解释 AI 视角，并释放了一个神经权重空间（NWS）数据集，以促进进一步研究。

    Feb, 2020

  • 随机矩阵理论证明深度学习对 GAN 数据的表示行为类似于高斯混合模型

    通过理论和实验证明，深度生成对抗网络产生的数据的 DL 表示是集中随机向量类中的随机向量。同时，Gram 矩阵能够描述 GAN 数据的 DL 表示的前两个统计矩，并可用于多种标准分类器。

    Jan, 2020