- ICML探索知识蒸馏
本研究通过研究线性和深度线性分类器的特殊情况，证明了知识蒸馏在理论上的有效性，并揭示了决定其成功的三个关键因素：数据几何形态、优化偏差和强单调性。
- AAAI面向成本和准确率的主动学习自适应标注
提出一种通过标签噪声的泛化界限选择信息量最大的标注者，以实现在较低成本下达到更高的泛化准确性；算法在五个 UCI 数据集和一个真实的众包数据集中展示了最新的性能。
- 多输出预测的乐观界限
研究多输出学习的挑战以及为了在监督数据集上学习矢量值函数所需的自限制利普希茨条件，证明该条件可以产生多输出学习的乐观界限，并给出其在多类梯度提升方面的应用及其最优性。
- IJCAI贪心凸集合
通过贪心算法学习基础模型的凸组合，得出结论：凸壳具有有限容量，良好的泛化性能，而线性壳的容量无限，容易出现过拟合情况。基于此，使用凸组合并结合早停法和拟定计算量可得的方法，可以实现贪心和非贪心学习。实验表明，贪心学习是一种有效的方法，且适应 - 模型相似性降低测试集过度使用
本文证明了在大尺度图像分类基准测试中，最新的提出的模型虽然其准确性相异，但其预测相似性很高，这一相似性缓解了过拟合问题。作者还根据这一相似性给出了一种新的泛化界限的数学模型，能够更好地应用于机器学习中测试数据的重复使用问题。
- 核方法中的分布鲁棒优化和泛化
本文研究了使用最大均值差（MMD）来测量不确定性集合的 DRO，证明了 MMD DRO 与希尔伯特范数的正则化基本等价，并揭示了与统计学习中的经典结果的深刻联系，并且通过 DRO 证明了高斯核岭回归的广义上界，从而得出一种新的正则化方法。
- ResNet 为什么有效？残差可以泛化
本文研究残差连接对神经网络假设空间覆盖数以及泛化能力的影响，证明了哪怕是固定了权重矩阵和非线性函数的总数，残差连接不会增加神经网络的假设复杂性，并基于假设空间覆盖数得到了 ResNet 等采用残差连接的深度神经网络的多类泛化界。根据此泛化界 - ICLR标签偏移下的领域自适应正则化学习
提出了一种基于正则化的学习算法 Regularized Learning under Label shifts (RLLS)，该算法能够校正源域和目标域之间标签分布的转移，通过估计带权重的源目标数据并训练分类器，并以此推导出分类器在目标域的 - 对比无监督表示学习的理论分析
本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。
- ICML过参数化的两层神经网络的优化与泛化的细粒度分析
该论文分析了一个简单的 2 层 ReLU 网络的训练和泛化，通过对相关内核的特性进行追踪，提出了更紧致的训练速度特征描述和网络大小无关的泛化界限以及对梯度下降训练的广泛平滑函数可学性的证明。
- ICML贝叶斯对抗性风险最小化
提供了一种贝叶斯视角的数学方法，支持使用 logged bandit feedback 进行离线学习，提出了一种新的 generalization bound 来估算社会可接受的风险，并引入了一种新的正则化技术来避免过拟合。
- ICML度量优化的例子权重
提出使用带权损失函数和标准损失函数来处理复杂测试度量和数据分布不一致问题，并且权重可以学习适应任何测试指标，公式支持的各个实际场景和标准数据集的实验结果表明该方法的性能得到重大改善并且还提供了一种方法的一般化范围。
- ICML在多项式时间内学习最大后验扰动模型以进行结构化预测
本文提出了一种基于 Rademacher 泛化界限的新型通用泊松模型学习算法，并给出了对未知示例的泛化保证条件，该方法可以在多项式时间内计算 MAP 预测器期望损失的泛化界限。
- ICMLEntropy-SGD 优化 PAC-Bayes 绑定先验：Entropy-SGD 和数据相关先验的泛化性质
该论文表明，熵 - SGD 可以优化关于 Gibbs 分类器风险的 PAC-Bayes 界限，证明获得的数据相关先验概率由 SGLD 提供，并保持相对紧密的泛化界限。
- ICLR神经网络谱范数归一化边缘界限的 PAC-Bayesian 方法
利用 PAC-Bayes 分析，我们提出了一种将前馈神经网络的谱范数和权重的 Frobenius 范数乘积作为度量的泛化界限。
- AAAI基于 Wasserstein 距离的领域自适应表示学习
本文提出了一种新的方法 ——Wasserstein Distance Guided Representation Learning (WDGRL)，其利用神经网络来估计源域和目标域之间的 Wasserstein 距离，并以对抗的方式来优化特 - 神经网络对抗训练的多源域适应
本论文提出了一种新的多源域自适应的一般化界限，并使用对抗神经网络学习特征表示，取得了在情感分析、数字分类和车辆计数等数据集上显著的适应性表现。
- 无监督生成参数化头像
本文研究将输入图像映射到由参数向量和图像组成的绑定对中的问题，并提出了一种基于差异的泛化界限和采用 GAN 实现网络解决方案的方法。实验表明，该方法可以解决自动生成头像的问题。
- AAAI深度半随机特征用于非线性函数逼近
本文提出了一种半随机特征的非线性函数逼近方法。理论上证明了其具有优秀的逼近性能、优化性质和泛化性能，并通过实验表明其能够匹配神经网络的性能且需要更少的单元，同时提出了使用半随机特征的隐含集合方法。
- 使用已标记和未标记的任务进行多任务学习
本文探讨多任务学习中训练数据标注不完整的情况，并提出了基于实例的信息传递方法，针对固定标注任务和主动选择标注任务两种情况提出了算法，并通过合成数据和真实数据的实验证明了算法的有效性。