- ICLR基于核心因果平衡的无偏协同过滤
通过在可观测数据集中消除不同的偏差,去偏协同过滤旨在学习一个无偏的预测模型。本文通过重新加权观测样本分布以适应目标样本的倾向得分来解决此问题。为了更好地满足因果平衡约束条件,作者提出了一种近似平衡函数的方法,并在再生核希尔伯特空间中证明了其 - LoRA 丢弃法作为过拟合控制的稀疏正则化器
本文提出了一种 LoRA Dropout 机制,通过向可学习的低秩矩阵引入随机噪声和增加参数稀疏性,从稀疏正则化的角度证明了 LoRA Dropout 机制的理论机制,并提供了在该框架下的泛化误差界限。理论结果表明适当的稀疏性可以帮助缩小经 - 揭开面纱:释放 Q 学习中的深度之力
通过统计学习理论的框架,我们理论上证实了深度 Q 学习在捕捉奖励的特殊属性上表现优秀,进而证明了深度 Q 学习优于传统 Q 学习的泛化误差边界,并在供应链管理中的知名啤酒游戏和模拟推荐系统中验证了我们的理论断言。
- DISPEL:领域通用性通过领域特定的解放
本文从识别不同的属性组作为领域共享或领域特有属性,提出了一个称为 DISPEL 的后处理微调方法,该方法可以过滤掉嵌入空间中未定义和无法区分的领域特有特征。DISPEL 框架高度灵活,可以应用于任何微调模型,实验结果在五个基准测试上表明 D - 通过相似性结构理解对比学习机制:理论分析
本文探讨了如何通过核心对比学习框架(KCL)的统计依赖性视角计算已学习的表示的相似性结构并研究了该框架的理论特性,包括分类错误上界的新证明和通向下游分类任务的 KCL 泛化性能保证。
- MM长尾分布自适应
本研究通过将长尾分布建模为不平衡领域,一般分布建模为平衡领域,提出了一种基于域适应的长尾识别解决机制。该机制通过松弛一般化误差界限、优化不平衡和平衡领域的经验风险、以及利用类内和类间距离来逼近域分歧,以可解释的方式将基于长尾分布的模型适应到 - 人群计数的分布匹配
该研究提出了一种基于 Distribution Matching 和 Optimal Transport 的 DM-Count 人群计数方法,通过引入 Total Variation loss 来稳定计算,相较于现有高斯平滑方法,在 UCF - MM神经切向核方法的神经网络修正
使用神经切比洛夫核方法,获得了网络训练误差上限、网络大小不变的泛化误差上限,以及一个简单且解析的核函数,能够优于相关网络,但需要注意网络缩放因子的问题。本文对原有方法进行修正,提出了更加严格的误差上限,解决了缩放问题。
- 通过商特征空间提高群不变性 / 等变性深层网络的推广能力界限
本研究提出了一种新的不变和等变深度神经网络的泛化误差上界,并开发了一个称为 “商特征空间” 的方法来描述其对于一些属性的作用,证明了 “商特征空间” 的容积可以描述泛化误差并进一步表明不变性和等变性显著改善了误差上界的主导项,同时讨论了不变 - AAAI自动化谱核学习
本文提出了一种基于非平稳谱核并能从数据中灵活学习谱度量的强大高效谱核学习框架,还导出了一个基于 Rademacher 复杂度的数据相关推广误差界,并提出两个正则化项以提高性能。实验结果表明该算法的有效性并验证了作者的理论结果。
- 多类域泛化的概括误差界
本文研究了基于核方法的学习算法在多类别分类上的泛化问题,建立了与现有最优算法相匹配的,随着类别数目对数增长的泛化误差界限,并实证表明相比于合并策略,所提算法可以显著提高性能表现。
- 正交深度神经网络
本文提出了正交深度神经网络 (OrthDNNs) 的算法,将其与最近研究的光谱正则化深度学习方法联系起来,证明了神经网络在实践中具有局部等距性和不变性,并提出基于等奇异值的正交权重矩阵的方法和 Bounded Batch Normaliza - AAAI基于源导向差异的无监督领域自适应
我们提出了一种新的度量源域和目标域之间差异的度量器称为 S-disc,利用源域标签计算效率和计算误差均有所提升,可用于比现有方法更紧密的推广误差界和提供更好的实验结果。
- 一种罚款的多类半监督算法的 Rademacher 复杂性界
该研究提出了一种基于两步半监督模型的多类分类器的 Rademacher 复杂性界,通过聚类技术和较少的带标签数据来训练分类器,并得到包含泛化误差界的数据相关收敛速度的理论结果。