- 数据依赖的岭正则化对逆问题的稳定性
我们提出了一种基于像素的岭正则化器,其具有数据依赖性和空间可变的正则化强度,以实现反问题的稳健解的理论保证和高重建质量,并证明重建形成一种最大后验方法。仿真结果表明,即使只有一小组特定实例的训练集可用,该方法也能产生高质量的重建结果,适用于 - 超越差异:对分布偏移理论的深入研究
在分布转移理论中,通过采用不变风险最小化(IRM)类似的假设连接分布,研究源分布到目标分布的分类器,揭示了源分布数据足够准确分类目标的条件,并讨论了在这些条件不满足时,只需目标的无标签数据或标记目标数据的情况,并提供了严格的理论保证。
- 预热推送 - 重标记
Push-Relabel 是一种最受欢迎的网络流算法,我们提供了第一个理论保证来支持预测流进行 Push-Relabel 的热启动,并展示了在实践中该算法也表现良好。
- ICML非凸双层优化的 Moreau 包络:一种单循环且无 Hessian 的解决策略
该研究聚焦于解决大规模非凸双层优化问题中的两个主要挑战,即确保计算效率和提供理论保证,并通过引入一种创新的基于梯度的单循环算法、利用 Moreau 包络重构以及针对一般非凸双层优化问题提供的非渐进收敛分析,同时解决计算和理论挑战。该算法仅依 - 鲁棒性对抗训练下的 NAS:基准、理论与进展
最近神经网络架构搜索 (NAS) 的发展强调考虑恶意数据下的鲁棒性架构的重要性,然而,在搜索这些鲁棒性架构时,尤其是在考虑对抗训练时,缺乏显著的基准评估和理论保证。本文旨在解决这两个挑战,做出了双重贡献:首先,我们发布了一个综合数据集,该数 - 针对数据子集选择的次模信息度量的理论分析
通过导出与相关性和目标数据的覆盖相关的数量的相似性为基础的上下界,我们首次提供了关于 Submodular Mutual Information(SMI)在子集的相关性和覆盖范围方面的理论保证,展示了 SMI 函数在实现良好的查询相关性和查 - 错误反馈再加载:从平方到算术平均数的光滑度常数
在本研究中,我们研究了一种称为 EF21 的现代化误差反馈机制,该机制在最弱的假设下具有目前已知的最佳理论保证,并且在实践中效果良好,该机制改进了通信复杂性,特别适用于异质数据情况,并进行了验证实验。
- 理解测试时数据增强
利用数据增强在测试期间产生平均输出的测试时间增强(TTA)是一种非常强大的启发式算法,本文旨在为 TTA 提供理论保证并澄清其行为。
- 关于生成对抗模型在低内在数据维度下的统计特性
尽管生成对抗网络(GANs)在实证方面取得了显著的成功,但其统计准确性的理论保证仍然相对悲观。本论文试图在理论和 GANs 以及双向 GANs(BiGANs)的实践之间架起桥梁,通过推导出关于估计密度的统计保证,以数据的固有维度和潜在空间为 - 不确定环境中的安全强化学习
在实际部署中的机器学习算法时,确保安全是一项重要的资产。现有的安全学习方法通常考虑连续变量,即回归任务。然而,在实践中,机器人系统还受到离散的、外部的环境变化的影响,例如必须携带一定重量的物体或在冻结、潮湿或干燥的表面上操作。这些影响可以建 - 有界均值的押注置信区间的近最优性
基于赌注方法构建的置信区间和置信序列在理论上具有更强的保证,无论是在渐近还是有限样本情况下,其经验证明在经验性能上优于现有的经验伯恩斯坦置信区间和置信序列。
- 图像压缩和最小二乘解的最大体积矩阵交叉逼近
基于最大容积子矩阵,本研究改进了矩阵交叉逼近的经典估计并提出了一种贪婪方法来寻找最大容积子矩阵。我们提出了一种改进常数的新证明,以及一族贪婪最大容积算法,这些算法提高了矩阵在 Chebyshev 范数下的交叉逼近误差界,并提高了经典最大容积 - 利用 Shapley 加法自归因朝着忠实的神经网络内在解释
通过引入 Shapley 值,提出了一种能够确保自解释性的泛化的自加性自归属神经网络模型 (SASANet)。SASANet 模型通过基于边际贡献的串行架构和内部精炼训练策略将有意义的输出模建模为任意数量特征的精确的有意义的价值函数,并且实 - 无监督神经网络在逆问题中的收敛与恢复保证
神经网络应用于解决反问题已经成为近年来的主要方法,本文旨在通过过参数化方式来控制神经正切核,提供了无监督前馈多层神经网络解决反问题的确定性收敛和恢复保证,并给出了对于具有平滑激活函数的两层深度逆先验网络的过参数化界限。
- 带剪辑的非凸随机优化的高概率分析
使用梯度裁剪技术在随机优化算法中研究梯度的截尾行为和其理论保证。
- 将路径相关的 NJ-ODEs 扩展至有噪声观测和一个相关观测框架
路径依赖的神经跳跃 ODE(PD-NJ-ODE)是一种预测具有不规则和不完整观测的连续时间随机过程的模型。本文讨论了两种扩展方法,以消除对观测时间和噪声的独立假设,并为其提供了理论保证和实证示例。
- DRCFS:双重稳健因果特征选择
DRCFS 是一种具有理论保证的双重稳健特征选择方法,可用于确定复杂系统中与目标变量高度相关的因果特征,特别是针对非线性和高维问题。
- ICLR基于结构相似度度量的半监督社区发现
本文提出了一种半监督社区检测算法,该算法利用网络拓扑和部分已知社区标签对新节点进行社区标签估计。该算法使用修正节点度数的随机块模型来对网络进行建模,并计算新节点与每个社区之间的结构相似度指标,从而预测新节点的社区标签。该算法在理论和实践中均 - Global-QSGD: 分布式学习的实用无浮点量化算法和理论保证
本文介绍了一种新的全局比例缩放量化算子 Global-QSGD,用于加速分布式训练。Global-QSGD 是第一个在所有约束条件下都可证明加速分布式训练的压缩机制,它通过在压缩误差和通信节省之间取得平衡来实现其加速效果,并且不需要昂贵的误 - 学习过程中增加范围:嵌套子空间中的自适应贝叶斯优化
提出 BAxUS 方法,通过应用一种新颖的嵌套随机子空间方法来适应高维度贝叶斯优化问题,确保高性能并消除失败风险,同时得到了比现有方法更好的结果。