- 关于正则化 NTK 动态的一点说明及其在 PAC-Bayesian 训练中的应用
建立了神经网络的显式动力学,其中训练目标包含了对参数保持接近初始值的限制,从而使网络保持在惰性训练状态,从而可以在线性化初始状态下的动力学。标准的神经切线核(NTK)控制训练期间的演变,尽管正则化会在描述动力学的微分方程中产生额外的项。该设 - 带有正则化轴突的玻尔兹曼机的通用表征
通过对玻尔兹曼机的连接进行正则化,我们证明了正则化玻尔兹曼机能够表示任意分布,并且控制能量局部极小值的数量,从而实现了简化的采样和训练,同时能够存储指数级的任意相关可见模式,并与稠密关联记忆网络相关联。
- ACL行为学习中泛化的跨职能分析
介绍了一种行为学习分析方法 BeLUGA,评估针对不同粒度级别的维度的泛化以及优化行为特定的损失函数并比较不同的正则化和域泛化方法对于 NLP 任务泛化性能的影响。
- 通过对抗学习连续噪声损坏实现的强大半监督异常检测
这篇论文探讨了如何应用对抗性训练和增加噪声的方法来解决自动编码器过拟合问题,从而提高异常检测的性能,并在多个数据集和实际场景中进行了验证。
- 多智能体强化学习中的谱归一化效应
本论文探讨了如何在多智能体稀疏奖励场景下学习可靠的评论家,在此基础上研究了如何通过使用谱归一化技术对评论家进行规范化处理,提高对于即使在此复杂的 SMAC 和 RWARE 领域中都能够更加稳定学习的能力。
- 使用特征归因减少神经机器翻译中的幻觉
通过特征归因和正则化等方法,提出一种新的损失函数,可以有效降低神经机器翻译中的幻觉错误。
- 神经网络优化和泛化
论文旨在通过提出基于结构的一阶优化算法和网络集合与个体网络之间的一种新对应关系,发展人工神经网络的学习权优化和泛化理论基础,进而在具有远远更多参数的网络中探索正则化的作用。
- 基于线性函数逼近的时序差分学习的有限时间分析:尾平均和正则化
本研究研究了结合尾平均的时序差分(TD)学习算法的有限时间行为。研究发现,尾平均的 TD 在不需要信息的情况下,可以在期望和高概率下以最优的 $O (1/t)$ 速率收敛,我们提出和分析了一个增加了正则化的 TD 变量,结论表明正则化的 T - VAE 解缠结先决条件:感知重叠
本文研究如何通过修改重建损失来实现 VAE 的去纠缠表征,并提出一种广义对抗训练的数据集来破解现有的去纠缠框架。
- AAAIEvolving CNN 拓扑结构的两个新性能改进
本文介绍了两种新方法,通过直接在训练时间上实现正则化和使用部分训练来尽早评估个体架构,有效地减少了复杂性和训练时间,从而生产出有效地 CNN 拓扑结构,提高图像识别准确率,开销减少达 20%。这两种方法均经 CIFAR10 基准数据集验证以 - 高斯噪声注入的显式正则化
研究了高斯噪声注入对神经网络的正则化作用,发现它通过在 Fourier 域中惩罚具有高频成分的函数来实现正则化,可以产生具有大分类边界的校准分类器。
- 通过有效的互信息近似实现快速公平回归
本文针对算法公平性和回归模型中的组公平标准,提出了快速近似的独立性、分离性和充分性,用于执行正则化风险最小化,从而实现公平性和准确性的折衷。
- 广义 Lipschitz 正则化等于分布式健壮性
探讨关于对抗性样本的问题,提出一种基于运输成本不确定性集合的正则化方法,实现了对 Lipschitz 正则化模型的稳健性证明,揭示了对抗学习和分布鲁棒性之间的联系,并提供了对核分类器的 Lipschitz 正则化方法。
- 神经网络的不确定性:近似贝叶斯集成
该论文介绍了一种基于贝叶斯原理的神经网络反演方法,利用对先验分布采样的数据正则化参数,从而提高神经网络模型的预测不确定性识别和量化能力。经过理论和实证分析,该方法相对于传统的平均集成技术具有更好的性能表现。
- ICML线性降噪自编码器的动态学习
该研究针对线性去噪自编码器 (DAEs),探究了输入噪声是如何影响学习的,并发现当正确调整时,噪声可以帮助 DAEs 忽略低方差方向,同时学习重构高方差方向,与标准正则化自编码器相比,噪声具有相似的正则化效果,但具有更快的训练动力学。
- KDDMaxGain: 通过约束激活值幅度来正则化神经网络
本文提出了一种名为最大增益的前馈神经网络经验性模拟方法,通过约束神经网络的增益来达到正则化的效果,得到了较好的正则化效果。
- 去噪对抗自编码器
该研究论文介绍了一种结合去噪和正则化的对抗性自编码器方法,用于学习用于推理的有用表示,并通过实验验证其对于分类性能和样本合成的贡献。
- 乘性 LSTM 用于序列建模
本文介绍了 mLSTM —— 基于长短时记忆 (LSTM) 和乘性循环神经网络 (RNN) 的一种用于序列建模的新型神经网络,其可以针对每个输入具有不同的循环转移函数,进而提升自回归密度估计的表达能力。我们通过实验表明,相较标准 LSTM - 关于对抗样本现象的边界倾斜视角
深度神经网络对抗样本现象的新视角及分类方法的研究。