- 基于生成数据集的正则化训练:仅包含名称的视觉 - 语言模型转化
通过对生成图像进行微调,本文研究目的是解决在生成的数据集上微调以特定分类模型的视觉 - 语言模型时所面临的挑战,并提供两种正则化方法来克服实际图像与生成图像之间的领域差异。经过广泛的实验验证,所提出的分析和正则化技术有效减轻了一直被忽视的领 - 多智能体分配任务的状态增强式强化学习
通过受限的强化学习解决多智能体分配问题中的冲突要求,强调标准正则化技术的不足,提出了一种状态增强方法,通过代理利用对偶变量的振荡来在任务之间交替,同时通过通信网络协调多智能体的动作,消除了访问其他智能体状态的需要,从而提出了一种具有理论可行 - 关于大涡模拟的数据驱动闭合模型误差分析的说明
通过数据驱动的涡流闭包建模,我们对流动轨迹预测中的误差传播提供了数学化的表述,分析了误差传播的影响因素,并且指出这些发现可以为基于机器学习模型的新的正则化技术提供改进的方向。
- 基于细粒度动态框架的偏差 - 方差联合优化在非随机丢失数据上的研究
大多数实际应用中的数据收集通常包含缺失值,这些缺失值通常是非随机缺失,从而降低了模型的预测性能。本文首先从理论上揭示了正则化技术的局限性,并进一步说明,对于更一般的估计器,无偏性必然导致方差无界。然后,我们开发了一种系统的精细动态学习框架, - 具备成对层架构的任务不可知连续学习
通过使用基于静态架构的方法,本研究不依赖记忆重现、参数隔离或正则化技术,仅通过将网络的最后一层替换为成对交互层来改善连续学习性能,并使用 Winner-take-all 风格激活函数中的稀疏表示来发现隐藏层表示中的相关性,实验结果表明该架构 - C-XGBoost:一种用于因果效应估计的树提升模型
提出了一种名为 C-XGBoost 的新因果推断模型,用于预测潜在结果,并使用树模型处理表格数据以及神经网络模型学习表征,同时具备 XGBoost 模型的优势,如处理缺失值和避免过拟合 / 偏差的能力。实验结果证明了该方法的有效性。
- CombiNeRF: 一种结合正则化技术的少样本神经辐射场视角合成方法
在本文中,我们提出了 CombiNeRF,一个将多种正则化技术综合起来的框架,以统一各种正则化技术的优势,并在几个公开数据集上展示了在少样本情况下超越最先进方法的性能。
- 强化学习的苦涩教训:行动者 - 评论家中的高估、过拟合和可塑性
通过在多个仿真场景中测试超过 60 种不同的 off-policy 智能体,并结合最新的正则化技术,我们发现适当进行正则化的简单 Soft Actor-Critic 智能体在解决狗任务方面表现出稳健而优越的性能。
- COLINGIR2:信息检索的信息规范化
使用 IR2 信息规范化技术在有限训练数据环境下,针对复杂查询进行综合数据生成和信息检索,实验结果表明这种规范化技术在数据生成过程中优于以往的方法,并可将成本降低 50%。
- 逆问题中的稀疏正则化中学习高斯混合模型
本研究提出了一种概率稀疏性先验,用于建模相对于通用基的稀疏性,并设计了一个神经网络作为线性逆问题的贝叶斯估计器。通过与常用的稀疏性促进正则化技术进行比较,我们的重建方法在所有使用的一维数据集上均表现出更低的均方误差值。
- 比较型深层生成模型的可识别性研究
深层生成模型(DGMs)是学习数据表示的多功能工具,可以充分融入条件概率分布等领域知识。本文提出了一种比较 DGMs 的可识别性理论,并通过将非线性独立成分分析领域的最新进展应用于其上进行扩展。我们证明了当混合函数是分段仿射函数(例如,由 - ICML神经网络中的函数空间正规化:概率视角
神经网络优化中的参数空间正则化是提高泛化能力的基本工具,但是标准的参数空间正则化方法使得将对期望预测函数的显式偏好编码到神经网络训练中变得具有挑战性。本文从概率的角度来看待神经网络的正则化,并展示了通过将参数空间正则化视为对模型参数的经验先 - 深度学习作为核磁共振信号反演的方法
深度学习用于 NMR 信号反演,通过卷积神经网络将 NMR 信号反演看作图像到图像的回归问题,与 Tikhonov 和 MTGV 等正则化技术相比,深度学习具有明显的效率和易用性优势,因为在重建之前不需要进行超参数选择。通过对模拟 NMR - 关于正则化多项式函数回归
这篇论文提供了关于多项式函数回归的综合性研究,得出了一个创新的有限样本界限。该界限涵盖了各个方面,包括一般的平滑条件、容量条件和正则化技术,并且扩展和推广了线性函数回归领域的几个发现。我们还提供了数值证据,表明使用更高阶的多项式项可以提高性 - 利用发散估计稳定 EEG 分类中的主体转移
我们提出了一种使用正则化技术来减少分类模型在未见过测试主题上性能下降的方法,并利用图形模型和神经网络模型来描述脑电图分类任务,并在大型基准脑电图数据集上进行了广泛的计算实验,发现我们的方法显著提高了测试主题的平衡准确性,并降低了过拟合。
- ICCV基于参数的梯度信噪比引导的域泛化
本文提出了一种基于梯度信噪比的参数选择方法,以解决深度神经网络在源域过拟合的问题,并通过元学习方法减轻了搜索最佳 dropout 比率的负担。评估结果表明,在标准域泛化基准测试中,我们取得了分类和人脸防伪问题方面的竞争性结果。
- 卷积神经网络提取基于强度的颜色不变特征于图像分类的能力
本文探讨了卷积神经网络在图像分类任务中受背景信息和色彩影响的能力,并提出利用 dropout 正则化对模型进行轻微结构修改以增强颜色不变性特征的分类准确度的潜在解决方案。
- 用 Flip-Flop 语言建模揭示注意力漏洞
本文研究了语言模型存在的错误和推理失误现象,特别是对于长链推理问题的脆弱性,提出了认知故障这一现象,并通过引入翻转语言建模进行了分析,讨论了自注意力机制失效的原因和解决方法。
- Auto-tune: 基于先验和后验的 PAC-Bayes 优化神经网络
提出一种实用的 PAC-Bayes 训练框架,通过使用无需多重超参数调整的算法,结合 Stochastic Gradient Descent(SGD)或 Adam 优化算法和正则化技术等方法,实现了与常规方法相当的测试性能,同时实现了深度神 - ICLR高效深度强化学习需要控制过拟合
本文通过对 DeepMind 控制套件中的任务进行控制和系统性分析,研究了数据高效 RL 的瓶颈,发现高 TD 错误是深度强化学习算法性能严重影响的主要罪魁祸首,因此,在任何形式的监督学习中,利用任何形式的正则化技术,找到验证 TD 误差的