- 高效对比语言 - 图像预训练：数据质量优先于数量
我们提出了一种理论上严谨的数据选择方法，通过保留图像和标题的交叉协方差，提高 Contrastive Language-Image Pre-training 模型的泛化性能，并在 ConceptualCaptions3M 和 Concept - 贝叶斯泛化误差的上界在局部概念瓶颈模型中：局部瓶颈模型胜过朴素瓶颈模型
Concept Bottleneck Model (CBM) methods for explaining neural networks have been improved upon with the introduction of P - 使用预处理改进最小二乘问题的隐式正则化 SGD
通过对预处理的随机梯度下降（SGD）和岭回归的综合比较研究，我们建立了预处理的 SGD 和岭回归的过度风险界限，并证明了存在一个简单的预处理矩阵能够优于标准的和预处理的岭回归，从而展示了预处理的 SGD 的增强正则化效果。
- 降低 Jeffries-Matusita 距离：一种新的损失函数用于提高深度分类模型的泛化性能
通过分析损失函数的特征，本文引入了一种减少过拟合问题的距离称为减少的 Jeffries-Matusita 作为深度分类模型的损失函数，在计算机视觉的图像分类和图学习的节点分类问题中，实验证明新的距离度量显著稳定了训练过程，提高了模型的泛化能 - 少数群体比例促进对泛化的影响：一层隐藏层神经网络在群体不平衡情况下的理论研究
组不平衡在实证风险最小化（ERM）中是一个已知的问题，这篇论文通过高斯混合模型定量分析个体组对样本复杂度、收敛速度以及测试性能的影响，提供了 ERM 组级泛化的首个理论分析，并验证了理论结果在合成和实际数据集上的有效性。
- 线性约束权重：减少激活漂移以加快神经网络的训练
在本文中，我们首先识别到神经网络中的激活偏移现象，通过线性约束权重（LCW）来减小激活偏移，研究了减小激活偏移对神经网络中变量方差的影响，并讨论其与梯度消失问题的关系。实验结果表明，LCW 能够通过解决梯度消失问题有效地训练具有 sigmo - 图神经网络的拓扑感知性和泛化性能研究
本文介绍了一个综合性框架，用于描述图神经网络在任何拓扑特征上的拓扑感知能力，并研究了拓扑感知对图神经网络的泛化性能的影响。通过案例研究和实证结果，发现提高图神经网络的拓扑感知能力可能会在结构组之间造成不公平的泛化，同时展示了该框架在解决图主 - CVPR扩展自身的对应关系：无监督的远程点云逐步距离扩展注册
EYOC 是一种无监督远距离点云注册方法，通过逐步训练特征提取器并利用高保真度对应关系生成和新数据分布的泛化性能，实现了与监督方法相媲美的注册性能。
- 通过 Ising 模型对领域感知因子分解机进行 L0 正则化
使用 Ising 模型作为 L0 正则化方法提高场感知分解机 (FFM) 的泛化性能，同时确定每个组的最佳特征组合，从每个组选择的特征的相似性和差异性进一步解释和理解模型。
- 多标签分类的自动化机器学习
自动化机器学习在多标签分类等任务中，选择和配置机器学习算法并将其组合成适合给定数据集的机器学习流程图。通过设计一种扩展的自动化机器学习方法，该方法优化了机器学习算法的流程图，并在多标签分类中配置复杂的层次结构，进一步研究了单标签和多标签分类 - 神经种群几何和任务共享潜在结构的最优编码
人和动物可以认识到环境中的潜在结构，并将这些信息应用于有效地导航世界。本论文开发了一个分析理论，将神经群体活动的中等统计特性与多任务学习问题上的泛化性能相联系。利用这个理论，我们发现实验观察到的因素化（或解缠）表示自然地成为多任务学习问题的 - FedImpro: 度量与提升联邦学习中的客户端更新
通过生成改进的本地模型来减轻分布不同的客户机之间的客户漂移，并增强模型的泛化性能。
- 大型语言模型网络适应
利用大型语言模型 (LLM) 的适应性，以提供更好的性能和更强的泛化能力，本文首次研究了将 LLM 应用于网络的可持续设计理念，通过 NetLLM 框架实现了高效的 LLM 适应网络问题，并展示了它在不同网络任务中的有效性。
- 均值随机梯度下降中的重尾出现
通过对连续扩散逼近的随机梯度下降进行分析，我们发现它在渐近意义下表现出重尾分布，并给出了尾指数的上下界。我们通过数值实验验证了这些界限，并显示它们通常是 SGD 迭代的经验尾指数的近似。此外，这些界限的显式形式使我们能够量化优化参数与尾指数 - 对抗训练中过拟合的深度神经网络能否泛化？— 一种近似观点
对深度神经网络（DNN）进行逆向训练以提高其对敌对扰动的鲁棒性是一种被广泛采用的方法。然而，经验观察到，对于超参数化网络的逆向训练往往存在 “鲁棒过拟合” 问题：它可以实现接近于零的逆向训练错误，但鲁棒性的泛化性能不佳。本文从逼近的角度对逆 - 协作方法：为了最大化跨边界联邦学习的泛化性能
分布式联邦学习中，研究探讨了通过分组合作来提高模型的泛化性能，解决了数据异构性问题。
- 用梯度实现的维度冲击：随机凸优化中的梯度方法的泛化
研究了梯度方法在基础随机凸优化条件下的泛化性能，并关注其与维数的依赖关系。针对全批量梯度下降（GD），通过构建学习问题，在维数为 $ d = O（n^2）$ 的情况下，可以证明经过调整以达到经验风险最优表现的典型 GD（使用 n 个训练样本 - ICLR自监督学习中的记忆提高了下游泛化
我们提出了 SSLMem，一个用于在自监督学习中定义记忆化的框架，通过对数据点及其增强视图返回的编码器之间表示的对齐差异进行比较，揭示了大规模数据集和强增强的自监督学习中存在高度记忆化的数据点，并且这种记忆化对于编码器在不同下游任务中实现更 - 通过简单的重标准化策略稳定锐度感知最小化
通过提出稳定的 SAM 策略，我们解决了使用 SAM 训练神经网络的不稳定性问题，并通过理论分析发现稳定 SAM 在扩展学习率范围内能够比 SAM 表现更好，并在多个数据集和任务上验证了其改进的性能。
- 元森林：元学习下的随机森林域泛化
提出了一种名为 “meta-forests” 的新颖领域泛化算法，通过引入元学习策略和最大均值差异度量，来增强分类器的泛化能力，减少树之间的相关性并增强其强度。结果表明，meta-forests 在对象识别和葡萄糖监测数据集的泛化性能方面优