- 平滑的科尔莫戈洛夫・阿诺德网络启用结构知识表征
研究使用具有固定网络拓扑结构的 Kolmogorov-Arnold 网络(KAN)作为传统多层感知器(MLP)架构的高效可解释替代方法,探讨了 KAN 中平滑性的相关性,并提出了在特定函数类中,具有平滑且结构知情的 KAN 可以达到与 ML - 在光滑条件下估计一个函数及其导数
从一个嘈杂的数据集中估计未知函数 f * 及其偏导数,对两种估计器进行了证明、一致性研究及收敛速率分析,并在对股票期权和其二阶导数估计为基础股票价格函数的情况下进行了数值验证。
- ICLR核岭回归的饱和效应
饱和效应是指当地下真实函数的平滑度超过一定水平时,核岭回归 (KRR) 无法达到信息论的下限。饱和效应在实践中被广泛观察到,并且关于 KRR 的饱和下限的猜想已经存在了几十年。本文提供了对这一长期猜想的证明。
- 改进的差分隐私和惰性在线凸优化
研究目标为(ε, δ)- 差分隐私在线凸优化(OCO),通过引入强对数凹密度的抽样,提升维度因子并消除平滑性要求,进而改进了(ε)非常小的情况下 Agarwal 等人的结果,达到了该领域已知的最佳速率。
- 基于扩散模型的带有噪声约束的平滑视频合成:一次性视频调整
通过引入噪声约束和新的视频评估指标,本文改进了现有一次性视频调优方法,在各种基线上产生了更平滑的视频。
- SGLD 的独立于时间的信息论泛化界
我们提供了一种新的信息理论泛化界限,用于研究随机梯度 Langevin 动力学(SGLD),在平滑性和耗散性的假设下。我们的界限是独立于时间的,当样本大小增加时会衰减为零,无论迭代次数和步长是否固定。与以前的研究不同,我们通过关注 Kull - 基于不确定性和平滑性的稳健离线到在线强化学习
提出了一种名为 Robust Offline-to-Online (RO2O) 算法的方法,通过不确定性和平滑性来增强离线策略,并在在线适应中减少性能下降,实验结果表明其在促进稳定的离线到在线学习方面具有优越性。
- 利用速率函数理解插值范围内的泛化
本文提出了一种基于大偏差理论的模型平滑性的新颖描述方法,通过这种平滑性描述方法,阐述了为什么某些插值器能够表现出良好的泛化能力的统一理论解释,以及为什么一系列现代学习技术(如随机梯度下降,$L_2$- 范数正则化,数据增强,不变性结构和过度 - DoWG Unleashed: 高效通用无参梯度下降方法
DoWG 是一种新的易于实现的无需调参的梯度下降算法,通过保留运行平均差值的加权版本达到最佳状态,并显示出其适用于优化平滑和非平滑问题,同时还揭示了 AdaGrad 算法成功背后的基本原理。
- PDE+:通过自适应分布扩散 PDE 增强泛化能力
该论文提出了一种利用偏微分方程来改进神经网络泛化性能的方法,并将其实现为 PDE + (具有自适应分布扩散的 PDE),该方法通过扩散每个样本以覆盖语义相似的输入分布,以改善泛化性能。
- 固定维度下核函数和神经网络的良性过拟合
本研究发现,神经网络的光滑度才是决定良性过拟合的关键,只有在评估器的导数充分大时才能实现良性过拟合。我们证明在固定维度中,光滑度适中的良性过拟合是不可能的,在回归模型中,采用一系列具有大导数的峰形平滑内核可以实现良性过拟合。通过添加小的高频 - ICML通过深度强化学习实现平滑轨迹避碰
本论文针对 DRL 导航解决方案中的两个核心问题提出了多种新的代理状态和奖励函数设计,即平滑性训练轨迹和模型泛化能力,利用边缘奖励和平滑度约束来确保无人机平稳飞行,同时大大降低碰撞风险,并演示整个设计和各组件的有效性。
- 定向链随机微分方程的光滑性
研究延迟微分方程的平稳性,其中每个过程都受其无限定向链图中的邻域过程的影响,并介绍了延迟等结构,该结构中的辅助过程使传统的 Malliavin 导数方法不直接适用。
- 平滑在线学习的简易性与统计学习相当
本论文研究了在线设置下学习过程中涉及到的平滑度、最小极大后悔以及上下文干涉等问题,并提出了对应算法的解决方案。
- ICCV搜索对抗鲁棒神经结构
本研究提出了一种新颖的对抗性鲁棒性感知神经体系结构搜索算法 AdvRush,通过采用偏好具有更平滑输入损失平面的候选架构的正则化器,成功地发现了一个对抗性鲁棒的神经体系结构,并在各种基准数据集上进行了大量实验以证明其有效性。
- CVPR无监督图像转换中平滑解缕隐空间
本文提出了一种基于三个特定损失的新训练协议,并提出了一种新的评估度量来正确衡量 I2I 翻译模型的潜在风格空间的平滑性,实验结果表明该方法可以显著提高生成图像的质量和插值的渐进性。
- 非欧几里得差分隐私随机凸优化:线性时间内的最优收敛率
本文系统研究了在不同的 normed space 下,拥有标准平滑性假设的 Differentially private stochastic convex optimization 问题,提出了新的算法并证明了其优于之前已知的算法
- Soft-Max 函数的最优逼近 -- 平滑度折衷
本文提出了两种新的 soft-max 函数,其分别在近似和平滑度方面优于传统的 exponential mechanism 函数,并进一步探讨了 power mechanism 函数在差分隐私亚模性最优情况下的性能。
- 超参数化和泛化误差:加权三角插值
该论文分析了在过参数化的线性学习问题中,平滑性和低泛化误差之间的关系,并研究了随机傅里叶级数模型,在该模型中,通过等距采样来估计未知傅里叶系数,研究了常规和加权最小二乘估计器的泛化误差,展示了加权三角形插值可以带来较小的过参数化泛化误差。
- Langevin Monte Carlo 的收敛性:尾部增长和平滑性的相互作用
研究了从目标分布采样的 Langevin Monte Carlo 算法及其在 KL 散度方面的收敛速度,该收敛速度与函数潜力的尾部增长率无关,仅依赖于平滑性的顺序,并且允许具有中度尾部增长的广泛潜力类。