- 使用神经分解 Oracle 实现可控文本生成
本研究提出基于 NeurAlly-Decomposed Oracle (NADO) 的通用高效生成模型控制框架,其中 NADO 将控制模型分解为词级指导以引导底层模型在文本生成过程中生成符合预期的结果,通过实验证明,本框架在维护高生成质量的 - ICLR基于漂移感知动态神经网络的时域泛化
提出了一种名为 DRAIN 的方法来解决时域领域通用问题,通过 Bayesian 方法建立动态图结构神经网络,在考虑模型参数和数据分布在不同时间点的动态漂移的同时,提供了理论保证,具有较高的有效性和效率。
- ICLR关于使用区间边界传播进行有保证鲁棒性训练的收敛性
本研究就 Interval Bound Propagation 的训练过程进行了理论分析,证明了当神经网络使用该方法进行训练时,具有一定的鲁棒性保证,并可以在有足够小的扰动半径和大网络宽度的情况下,使用梯度下降法线性收敛到零的鲁棒训练误差。
- IJCAI基于小损失准则的噪声标签深度学习理解
本文从理论上解释了小 LOSS 原则在处理噪声标签时的有效性,并基于此对其进行了形式化重新定义以更好地解决噪声问题。实验结果证明了我们的理论解释,并证明了重新定义后的小 LOSS 原则的有效性。
- SUPER-ADAM:自适应梯度的更快、更通用的框架
提出了一种快速且普适的自适应梯度优化算法超级 Adam,能够用于解决通用的问题,结合了动量和方差缩小技术,并提供了自适应梯度方法在非凸条件下的收敛分析支持,理论上证明了算法能达到当前最低梯度级别(即随机一阶 Oracle(SFO))复杂度找 - 粒子物理机器学习的现状回顾
本文旨在提供机器学习和深度学习应用于高能物理实验、现象学和理论分析研究的引用文章,并将不断更新以纳入最新发展。
- AAAI文本生成中重复问题的理论分析
本文提出了一个新的理论分析框架来解决文本生成过程中的重复问题,通过平均重复概率定义了这一问题,并对 Markov 生成模型进行了广泛分析。通过理论上界的分析,提出了一种新的重平衡编码方法,显著缓解了高流入问题。
- ICLR混合样本如何提高模型鲁棒性和泛化性能?
本文提供了理论分析,证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性,表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界,而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化,从而减少了过拟 - 解释解释器:LIME 的首个理论分析
该文提供了 LIME 算法的首个理论分析,当函数为线性函数时,我们为可解释模型的系数导出了闭式表达式,其中这些系数与被解释函数的梯度成正比,但分析也揭示了 LIME 在选择参数不当时可能会错过重要的特征。
- 多智能体强化学习:理论和算法的选择性概述
本文在 selective 的视角下提供了多智能体强化学习领域的理论分析综述,重点关注 Markov/stochastic games 和 extensive-form games 框架下的 MARL 算法的理论结果,并突出了 MARL 理 - 可扩展性与实用性:数据重要性量化中我们是否必须为之牺牲一个?
本文研究了现有数据量化方法在数据流程中的表现,并通过理论分析和实验研究比较了这些方法的效用,得出基于预训练功能嵌入的 $ K $NN 替代的 Shapley 值近似可以在实现显著可扩展性改进的同时实现具有可比性的实用性和优越性,这也能够证明 - 条件重要性采样用于离线学习
本文提出了一个基于条件重要性采样比的离线策略强化学习概念框架,探索了其应用于算法设计的新视角,并证实了它的理论意义及其派生算法。
- 激活函数对深度神经网络训练的影响
通过对「边缘混沌」的理论分析,研究了深度神经网络中各参数的选取对模型训练加速和性能提升的影响。
- ICML噪声稀疏子空间聚类在降维数据上的理论分析
本文研究稀疏子空间聚类 (SSC) 算法在降维数据上的理论性质,包括确定性模型和多种降维技术,并将该分析应用于隐私保护算法中,同时确保方法的隐私性和效用性。
- 通过哈希加速连续属性图的核函数
本文介绍了一种名为 hash graph kernels 的方法,可以将离散标签的图形核扩展到包含连续属性的图。该方法通过随机的哈希函数将连续属性迭代地转换成离散标签,并在 Weisfeiler-Lehman 子树核和最短路径核的基础上展示 - 轻触重约束的 SGD
本研究提出了 Projected Stochastic Gradient Descent(SGD)算法的一种有效扩展,可应用于许多受限函数的学习中,同时较少地应用每个迭代的约束,从而在适应区域内保持良好的优化。我们的理论分析显示,针对拥有大 - 基于核范数和弗罗贝尼乌斯范数表示之间的联系
本文从理论上探讨和证明了在具备等效表示能力的情况下,Frobenius 范数与核范数可以相互转化,无论数据集包含高斯噪声、拉普拉斯噪声还是样本特定的损坏,这样可以填补在实验研究中相对于稀疏表示和核范数表示,Frobenius 范数表示(FN - 交替最小化法实现低秩矩阵完成
本文首次理论分析了交替极小化算法在矩阵完成和矩阵感知问题中的表现,证明了在满足某些条件下,该算法可以快速收敛到真实矩阵,同时具有更简单的分析方法。