Nov, 2015

神经网络在多样性导向的互角度正则化下的泛化误差界

PDF
TL;DR本文研究了多样性诱导正则化方法以提高潜变量模型的理解性、复杂度、泛化性能等，并提出了一种理论分析方法，其中采用神经网络模型实现了理论研究，发现增强神经网络中隐藏单元的多样性可以提高模型的近似性能。
diversity-inducing regularizationlatent variable modelsmutual angular regularizergeneralization performanceneural network
发现论文，激发创造
  • 潜变量建模与多样性诱导互角正则化

    通过提出一种互相角度正则化的方法，可以训练出具有多样性，低冗余，更好的解释性的潜在变量模型，并有效地捕捉长尾模式并减少模型复杂度。

    Dec, 2015

  • 多样性增强贝叶斯潜变量模型学习

    本文提出两种不同的方法，一种是引入互角度先验，另一种是直接对后验分布进行多样性约束，以 “多样化” 潜变量模型，包括贝叶斯非参数模型。实验结果证明方法的有效性和高效性。

    Nov, 2017

  • MAE：变分自编码器的相互后验分歧正则化

    本文介绍了一种新的正则化方法 mutual posterior-divergence regularization，用于控制潜空间的几何结构，从而实现有意义的表征学习，并在三个图像基准数据集上取得了良好的表现。

    Jan, 2019

  • WLD-Reg：一种依赖于数据的层内差异性正则化器

    本文提出一种基于神经网络的层内反馈机制，通过计算神经元输出之间的相似性来增强每一层内的激活多样性，实验证明这种方法能够提高多种任务下多个最新神经网络模型的性能。

    Jan, 2023

  • 少数群体比例促进对泛化的影响：一层隐藏层神经网络在群体不平衡情况下的理论研究

    组不平衡在实证风险最小化（ERM）中是一个已知的问题，这篇论文通过高斯混合模型定量分析个体组对样本复杂度、收敛速度以及测试性能的影响，提供了 ERM 组级泛化的首个理论分析，并验证了理论结果在合成和实际数据集上的有效性。

    Mar, 2024

  • LDMNet: 低维流形正则化神经网络

    通过使用 Low-Dimensional-Manifold-regularized neural Network 来加强神经网络的特征提取，有效提高了在小样本情况下的泛化能力并且可以应用于同种物体的跨光谱识别。

    Nov, 2017

  • 通过锚定多元分析提高泛化能力

    我们通过引入因果正则化扩展到锚定回归（AR）来改善超出分布的广义。我们提出与锚定框架一致的锚定兼容损失，以确保对分布变化的鲁棒性。各种多变量分析（MVA）算法，如（正交化）PLS，RRR 和 MLR，都适用于锚定框架。我们观察到简单的正则化能增强在超出分布设置下的鲁棒性。我们提供了选择算法的估计器，展示了它们在合成和真实的气候科学问题中的一致性和功效。经验证实，锚定正则化的通用性凸显了其与 MVA 方法的兼容性，并在增强可复制性的同时防范了分布变化。扩展的 AR 框架推进了因果推断方法，解决了可靠的超出分布广义化的需求。

    Mar, 2024

  • 超球均匀性学习

    本文提出了一种新的关系规范化方法 —— 超球均一性，以影响神经元之间的相互作用，进而为神经网络打下适当的归纳偏差，从而实现对新数据的良好泛化。

    Mar, 2021

  • 关于在潜空间中定义邻近分布的好处

    本文提出了一种在生成模型的潜在空间中定义 vicinal 分布的方法，称为 VarMixup，并在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上进行了实证研究，结果表明使用 VAE 学习的潜在流形执行 mixup 训练的模型对于各种输入扰动 / 干扰更具鲁棒性，校准性更好，并呈现出更多局部线性的损失函数。

    Mar, 2020

  • 在相互学习中基于贝叶斯神经网络的模型和特征多样性

    通过深度相互学习提高贝叶斯神经网络（BNNs）性能，增加网络参数分布和特征分布的多样性，促进同行网络获取不同特征，从而提高了分类准确性。

    Jul, 2024