- 干净标签背门攻击的泛化界限和新算法
本文推导出了算法无关的干净标签后门攻击情景中的泛化界限;提出一种新的干净标签后门攻击方法,通过结合对抗性噪音和无差别毒害计算出毒触发器,并在各种情景中展示其有效性。
- 从泛化分析到状态空间模型的优化设计
本文研究了状态空间模型(SSM)的普适性,并提出基于普适性结果改进训练算法的方法。具体地,我们给出了一种依赖数据的 SSM 普适性界限,展示了 SSM 参数与训练序列的时间依赖性之间的相互作用。基于该普适性界限,我们(1)建立了一个基于提出 - ICLR通过锐度实现鲁棒的离分布泛化界限
我们研究了模型的锐度对其在领域转移中对数据变化的容忍度的影响,并提出基于锐度的领域外泛化界限,通过考虑鲁棒性,得出比非鲁棒性保证更紧的界限。
- 多领域局部分布偏差的多重健壮估计
通过提出一种两阶段的多样性鲁棒性估计方法,针对表格数据分析,在多个数据分布的片段中改进模型性能,并在常见的机器学习模型上实施。我们在合成和真实数据集上进行广泛实验,证明所提出的方法在回归和分类任务上在预测准确性和鲁棒性方面明显优于现有的替代 - 利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限
该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界,其中关键步骤是考虑一系列常用的分布:Gibbs 分布。该边界在概率上同时适用于假设和学习样本,允许复杂度根据泛化差距进行调整,以适应假设类和任务。
- AAAI无监督图领域自适应中的传播再思考
无监督图域自适应旨在将标记的源图知识转移至未标记的目标图,以解决图域之间的分布偏移。作者重新评估了图域自适应中图神经网络的作用,并发现了传播过程在适应不同图域中的关键作用。基于经验和理论分析,作者提出了名为 A2GNN 的简单而有效的图域自 - 关于 $l_0$ 有界对抗攻击的对抗训练的泛化性质
神经网络在输入上的微小扰动会导致错误分类,本文针对截断分类器的 l0 有界对抗攻击进行理论性能分析,证明了一个独立于分布的二分类设置的 l0 有界对抗扰动的新型泛化界限。
- MADG:基于边界的领域泛化对抗学习
提出了一种基于边界损失的领域一般化方法(MADG 算法),该算法通过培训过程中的对抗性学习和学习域不变特征来有效地泛化到看不见的目标域,同时通过边界损失和 Rademacher 复杂性进行理论分析,实验证明在各种真实 DG 数据集的基准测试 - 最差类错误的上限界限提升
本文解决了最差类别错误率的问题,而不是针对所有类别的标准错误率。我们提出了一种提升算法,它能保证最差类别的训练错误的上限,并推导出其泛化界限。实验结果表明,在避免过拟合训练集的同时,该算法降低了最差类别的测试错误率。
- 估计观测网络数据因果效应的泛化界
通过利用基于联合倾向性评分的重新加权模式和基于积分概率度量的表示学习模式,在网络情景中推导出因果效应估计的泛化界限,从而支持减轻复杂的混淆偏差并在原则性上指导学习目标的设计,通过分析泛化界限提出一种基于联合倾向性评分和表示学习的加权回归方法 - 理解不确定性抽样
该研究探讨了基于流式学习和基于池式学习的不确定性采样算法,提出了等价损失和损失作为不确定性的概念,建立了不确定性采样算法的泛化界限,并将其与风险敏感目标和分布鲁棒性联系起来,解释了不确定性采样算法在样本规模较小时的优势。
- 在线到 PAC 转换:通过遗憾分析获得泛化界
本文提出了从在线学习的角度推导统计学习算法的泛化界限的新框架,建立在线学习算法与统计学习算法之间的联系,通过构造一种在线学习游戏来实现该框架并得到多种泛化保证。
- 图嵌入神经网络的图信号分析
本文针对以往工作的不足,引入了一种有意义的图信号相似度度量,提出了一种称为图信号切割距离的相似度度量,证明了 MPNN 可以在图信号度量空间中满足收敛性并得出了二次元情况下相似度度量的性质,进而提出了 MPNN 的泛化界和稳定性。
- 神经常微分方程和深度残差网络的泛化界
本文研究基于连续时间参数的 ODE 类模型及其泛化界限,并探讨其与深度残差网络的类比关系,说明权重矩阵之间的差异对于神经网络的泛化能力有何影响。
- 方差 - 不变性 - 协方差正则化的信息论视角
本论文提供了关于自监督学习中方差不变性正则化(VICReg)的信息论视角,将 VICReg 目标关联到互信息最大化,并使用该关系为 VICReg 导出广义泛化界,提出了基于互信息最大化的新型自监督学习方法,该方法在性能方面优于现有方法。
- 大偏差下宽神经网络的收敛性和泛化性
该研究通过神经切向核(NTK)模式下的梯度下降探讨了训练一层过度参数化的 ReLU 网络,其中网络的偏置被初始化为某个常量而不是零。该初始化的诱人好处是神经网络将可以在整个训练过程中保持稀疏激活,从而实现快速训练。结果表明,在稀疏化后,网络 - 学习列表级领域不变表示以进行排名
对排名问题进行领域适应的方法是通过学习列表级领域不变特征表示来实现的。理论上,我们建立了一个适用于 MRR 和 NDCG 等列表度量的领域适应泛化界限。通过对真实世界排名任务的无监督领域适应实验表明了其效果。
- ICML渐进式领域适应的理解:改进分析、最优路径及其它
本文提出 Gradual Self-Training 算法,通过逐步适应介于源域和目标域之间的中间域,使得在目标域上的泛化误差得到大幅度改善,在更为宽松的假设条件下给出了推导的新的上界,该上界只在 T 上线性地,加性地依赖于一系列基础参数, - ECCVMVDG:用于域泛化的统一多视角框架
本文提出了一种基于多视角的领域泛化框架,利用多任务和多视角的元学习进行模型训练和更新,有效降低模型过拟合和不稳定预测问题,并在三个基准数据集上得到较好的结果,优于目前的一些最先进方法。
- ICML基于距离的分类器的 PAC-Bayesian 分析:最近邻为什么有效!
本文介绍了一种基于稀疏先验的 PAC-Bayesian 限制方法,将 K 最近邻分类器转化为核空间框架以求得其广义误差的界限,并在实验中证明了其高效性。