- 用简单世界模型预测未来
我们提出了一种正则化方案,简化了世界模型的潜在动态,使得动态软件状态的不变性更强、智能体行为的效果更可预测。通过结合三种不同的模型类别,我们发现该正则化方案能够提高准确性、泛化性和后续任务的性能。
- CVPR使用排列哈密尔顿晶格的隐式曲面,实现快速多视角重建
本文提出了一种包含哈希隐式表面表示的混合方法,通过使用转置矩阵晶格和正则化方案以优化这两个领域,旨在改善神经辐射密度场方法的表面几何恢复问题,并在多个数据集上评估效果。
- ICLR关于使用随机梯度下降训练的模型的泛化:信息论界限和含义
本文基于 Neu et al. (2021) 的最新研究,在信息论方面提出了用于衡量机器学习模型的泛化误差的新上界。 通过应用这些上界,分析了线性和 ReLU 网络的泛化行为,并得出了关于 SGD 训练的洞见以及一种新的简单的正则化方案。实 - ICML通过雅各比正则化稳定平衡模型
本文提出一种正则化方案来加强深度均衡网络(DEQ)模型的学习稳定性,该正则化方案显著提高了 DEQ 模型的收敛速度和性能,使得 DEQ 模型与传统深度网络在速度和性能上保持相当,并且具有恒定的内存占用和简单的架构。
- IJCAI通过对扰动样本进行对抗标记的鲁棒性正则化
本文提出了一种称为 ALPS 的正则化方案,通过向每个真实输入样本添加扰动样本并给予对抗性标签来训练神经网络,以提高其泛化能力和对抗鲁棒性,实验表明 ALPS 具有先进的正则化性能和有效的对抗性训练。
- 基于 VQA 的视觉基础方法的负面案例分析
为解决当前 VQA 方法依赖于数据集偏见和统计相关性的问题,提出了利用视觉提示进行 VQA 模型性能优化的方法,但实现的改进并不是由于视觉提示的影响,而是正则化效应,为此提出了一种不需要外部数据注释的简单正则化方案。
- 针对所有 $l_p (p≥1)$ 对抗扰动的可证明鲁棒性
本论文介绍了一种利用新的正则化方案(MMR-Universal)确保 ReLU 网络的鲁棒性的方法,并展示如何得到任意 $l_p$ 范数下鲁棒的模型。
- 通过最大线性区域的优化证明 ReLU 网络的鲁棒性
研究了神经网络分类器在安全关键系统中的应用,提出了一种对 ReLU 网络的正则化方案,使分类器的鲁棒性得到提升,并在实验中取得了较好的效果。
- 对抗性网络压缩
本研究介绍了一种通过对抗网络压缩方法实现从深层精确的模型向更小的模型中转移知识的方法,该方法不需要使用标签进行训练,并在不同的师生模型上泛化;在五个固定的标准数据集上进行广泛的评估表明,该学生模型准确率略有下降,而且性能比其他知识传输方法更 - 多元凸回归及其变形的计算框架
本文针对多元凸回归函数的非参数最小二乘估计器提出一种基于增广 Lagrange 方法的可扩展算法框架,并且给出了平滑凸的 LSE 拟合(分段仿射)的凸逼近方法及近似质量的形式保证,此外,提出了一种 Lipschitz 凸回归的正则化方案,并 - 带噪声数据的反向优化
该研究探讨了有噪声的凸优化问题的逆优化,提出了一种新的基于对偶的重构方法和正则化方案,证明了参数估计的统计一致性结果。同时,提出了两种基于该方法的解算法,并在合成和真实数据上进行了竞争性表现。