- ICLROVOR:无需训练的逐步增加类别学习中的 OnePrompt 与虚拟异常规则
我们提出了一种基于虚拟异常点的正则化方法,通过收紧分类器的决策边界,减轻不同任务之间类别的混淆;同时,我们展示了一种简化的基于提示的方法,可通过更少的学习参数和较低的推理成本实现与之前的最先进方法相当的结果。
- 经验风险最小化与 f - 散度家族中的正则化的等价性
给定函数 $f$ 的分裂散度正则化 (Empirical Risk Minimization with $f$-Divergence Regularization) 的解决方案,该解决方案在 $f$ 的条件适当的情况下,得到最优测度是唯一的 - 低分辨率先验平衡网络用于 CT 重建
使用低分辨率图像提供的有效正则化项,通过算法展开构建深度平衡架构的骨干网络的深度学习 CT 重建模型优于其他最先进方法,改善了噪声减少、对比度噪声比和边缘细节保留等方面。
- 带线性函数逼近的正则化 Q 学习
通过在有限时间内收敛到线性函数逼近情况下的投影贝尔曼误差的单环路算法,本文提出的算法在马尔科夫噪声存在的情况下收敛于稳定点,并为该算法衍生的策略提供性能保证。
- ICLR高效局部线性正则化克服灾难性过拟合
单步对抗训练中的灾难性过拟合问题被有效地解决,通过引入一种名为 ELLE 的正则化项,该方法在经典的对抗训练评估以及在困难情境下如大对抗扰动和长时间训练计划中表现出高效和优异性能,并且能够通过在训练过程中对正则化参数进行适应性调整来进一步提 - 基于隐式神经表示的图像去噪器的增强
通过在学习过程中采用来自预测和监督信号的均值作为监督信号的替代,我们提出了一种用于正则化隐式神经表示模型(INR)在图像去噪中的通用方法,从理论上证明这样的简单迭代替代可以逐渐增强监督信号的信噪比,从而有利于 INR 模型的学习过程,实验证 - 基于现实假设的核回归泛化
对于几乎所有常见和现实设置,本论文旨在提供一种统一的理论来上界核回归的超额风险。通过提供适用于常见核函数和任意正则化、噪声、输入维度和样本数量的严格界限,并提供核矩阵特征值的相对扰动界限,揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象, - 逆问题的学习重建方法:样本误差估计
在重建和正则化逆问题领域,学习驱动和数据驱动技术近来成为主要关注点。本研究描述了一个通用框架,使我们能够在统计学习的背景下解释许多这些技术,重点研究学习重建方法的泛化性质,并特别进行样本误差分析。
- 重新考虑神经语音识别中的熵半环
在流媒体环境中,语音识别模型需要在完整音频流可用之前将语音的子序列映射为文本,但由于训练过程中很少有语音和文本之间的对齐信息可用,模型需要以完全自我监督的方式进行学习。本文通过熵半环重新考虑了神经语音识别模型,展示了如何通过对齐熵来通过正则 - 线性 MMSE 滤波器的自动正则化
在此研究中,我们考虑了最小均方误差(MMSE)线性滤波器中的正则化问题。通过利用与统计机器学习方法的关系,我们以简单且自动的方式从观测信号中找到了正则化参数。我们通过系统辨识示例说明了所提出的方法,其中自动正则化产生了接近最佳结果。
- 一个测试时间学习方法,通过卷积神经网络重新参数化地球物理反演问题
探讨了将卷积神经网络(CNN)的内在正则化应用于地球物理反演问题,结果表明 CNN 提供的内在正则化在直流电阻率反演中是有效的。
- 温度平衡、逐层权重分析与神经网络训练
该论文提出了 TempBalance,一种简单而有效的逐层学习率方法,基于 Heavy-Tailed Self-Regularization (HT-SR) 理论,并展示了使用 HT-SR 相关指标来指导模型训练中的温度调度和平衡,从而改善 - LayerCollapse:神经网络的自适应压缩
利用 LayerCollapse 方法进行适应性模型压缩,通过消除网络中的非线性并将两个连续的全连接层合并为单个线性变换,同时减少层数和参数数量,提高模型效率;引入压缩感知正则化器,根据数据集质量和模型表现压缩模型,减少过拟合;实验证明 L - 基于变分贝叶斯和压缩自编码器的图像恢复
使用压缩自编码器进行潜在变量估计,在变分推断框架内实现此估计,并能快速、简便(近似地)进行后验采样,证明该方法能够与最先进的即插即用方法达到类似的性能,并且能够比其他现有的后验采样技术更快地量化不确定性。
- 通过福克 - 普朗克方程来缩小基于评分的扩散模型中的 ODE-SDE 差距
通过分析得出结论,增加 Fokker-Planck 残差作为额外的正则化项可以缩小 ODE 和 SDE 生成的分布之间的差距,但这可能会导致 SDE 样本质量下降。
- 基于梯度的双层优化用于多罚项岭回归的矩阵微分计算
本研究探讨了线性回归中带有 L2 正则化的问题,每个输入变量都与一个不同的正则化超参数相关联。通过基于梯度的方法优化这些超参数,通过计算交叉验证准则相对于正则化超参数的梯度,使用矩阵微分学进行解析计算。此外,我们引入了两种针对稀疏模型学习问 - 泛洪正则化用于稳定训练生成对抗网络
该论文提出了一种针对生成对抗网络(GANs)的训练不稳定问题的解决方法,通过直接对抗损失函数进行正则化,使用洪水法(flooding)抑制判别器的损失过低,实验证明洪水法可以稳定 GANs 的训练,并与其他稳定技术结合使用。
- KDDDualMatch:具有双层交互的鲁棒半监督学习
提出了一种名为 DualMatch 的新型半监督学习方法,其中类别预测以双层交互方式调用特征嵌入,通过一致的正则化确保不同的增强视图受到一致的类别预测约束,并确保同一类别的不同数据具有类似的特征嵌入,实验证明了 DualMatch 的有效性 - KDD变分自编码器中缺失数据的后验一致性
通过提出一种正则化方法来提高变分自动编码器(VAEs)对于缺失数据的后验一致性,从而改善了缺失数据条件下的重构质量和利用潜在空间中的不确定性进行下游任务的绩效。
- 神经网络中的约束实现:一种随机增广拉格朗日方法
提出了一种用于深度神经网络(DNNs)的新颖正则化方法,将训练过程视为约束优化问题,利用随机增广拉格朗日乘子法(SAL)实现更灵活高效的正则化机制,对白盒模型进行改进以确保可解释性,实验证明该方法在图像分类任务上实现了更高的准确度并具有更好