- 基于完全连接神经网络的非光滑正则化矩阵补全
通过在深度神经网络中引入非光滑正则化项，我们控制过拟合，并在矩阵填充任务中实现更好的性能。我们提出了一个变种的近端梯度法，并研究其收敛性，通过逐步添加非光滑正则化项来改善深度神经网络的性能。通过模拟实验，我们证明了所提算法相对于线性和非线性 - FLea: 通过隐私保护的特征增强改进稀缺和标签偏斜数据上的联邦学习
提出了一个统一的框架 FLea，通过鼓励客户端交换隐私保护特征来解决过拟合和局部偏差问题，从而提升本地模型的学习效果，实验证明 FLea 在共享模型参数方面优于现有领先的联邦学习方法高达 17.6％，而在共享数据增强方面优于联邦学习方法高达 - 基于过拟合的图像压缩的频率感知再参数化
通过在频域进行直接优化的离散余弦变换（DCT）卷积核加权求和的重新参数化方法，在低计算成本下，通过与 L1 正则化相结合，实现了显著改善的率失真性能，从而克服了过拟合图像压缩中的权重存储问题和实用性快速收敛困难。
- 雪花假设：用一节点一感受野训练深度神经网络
我们研究了深度图神经网络的研究轨迹，发现其成功主要源于从 CNN 中采用的创新或定制的聚合算法，然而这些算法往往缺乏内在的可解释性，没有捕捉到不同节点之间的微妙差异。因此，我们提出了雪花假设，将其作为节点吸收领域的概念，通过最简单的梯度和节 - 大型语言模型培训动态分析：防止过度拟合的记忆训练
研究了大型语言模型的训练和记忆过程，在不同设置下测量了数据集大小、学习率和模型大小对其记忆能力的影响，证明更大的语言模型更快地记忆训练数据，更容易在训练过程中避免过度拟合。同时，分析了不同词性的记忆动态，发现名词和数字是模型记忆单个训练例子 - DropMessage：图神经网络的随机丢弃统一化
本文提出了一种新的随机删除方法 DropMessage，通过随意遮盖传递消息过程中所传递的关键信息，从而提供了一个通用框架。实验结果表明，DropMessage 方法在多任务和各种模型上表现出了效果和泛化能力，并显著减轻了过度拟合、过度平滑 - AAAI稀疏 MLP 用于图像识别：自注意力真的必要吗？
本文研究了 Transformer 的核心自注意力机制在图像识别领域中扮演的关键角色。作者提出了一种名为 sMLPNet 的无注意力网络，其中使用了一种新的稀疏 MLP（sMLP）模块，避免了常见的过拟合问题，取得了优异的结果。
- Visformer：基于 Transformer 的视觉友好型模型
通过将 Transformer 模型逐步转化为基于卷积的模型，进行经验证实验表明，命名为 Visformer 的新架构比 Transformer 模型和卷积模型在 ImageNet 分类准确性方面表现更佳，尤其是当模型复杂度较低或者训练集较 - ICLR通过噪声建模实现文本分类标签噪声的鲁棒性
该论文研究了 NLP 中文本分类的标签噪声问题，提出了一种基于 beta 混合模型的辅助噪声模型，通过此模型可以减轻标签噪声对分类器的影响，提高分类准确率并防止过度拟合。
- AAAI领域特定神经机器翻译的稀疏结构发现
本文提出了一种通过渐进修剪实现的新颖的领域适应方法 Prune-Tune，用于小样本下的神经机器翻译领域，这种方法可以在不修改模型的情况下减轻过拟合和退化问题。
- M-Evolve: 基于结构映射的图分类数据增强
通过图结构的启发式转换，引入数据增强并提出四种方法：随机映射，顶点相似度映射，基元随机映射和基元相似度映射，生成更多弱标记数据，以优化预训练图分类器。实验证明，该框架可以减轻小规模基准数据集上现有图分类模型的过拟合和过度泛化问题，并在图分类 - 具有自适应连接采样的贝叶斯图神经网络
我们提出了一个统一的自适应连接采样框架，该框架可以泛化现有的用于训练 GNN 的随机正则化方法，并消除深度 GNN 的过度平滑和过拟合趋势，并允许在 GNN 图分析任务中具有不确定性的学习。将自适应连接采样与 GNN 模型参数以全局和局部方 - 识别和补偿不平衡深度学习中的特征偏移
本文研究了在类别不平衡数据情况下学习卷积神经网络分类器，发现卷积神经网络容易过拟合少数类，提出了一种类别依赖温度的训练方法以解决特征偏移问题，并在基准数据集上验证了有效性。
- 理解和改善层归一化
本研究主要探讨了 LayerNorm 技术的有效性以及如何优化其性能，提出了一种新的规范化方法 AdaNorm，其实验结果比传统 LayerNorm 方法更好。
- 基于大边际约束的图注意力网络的改进
本研究提出了一种通过训练中的注意力基于边界值约束来缓解过度平滑和过度拟合的图注意力网络架构。实验证明该方法在常见基准数据集上比之前最先进的图注意力方法有了显著的改进
- DropEdge：面向节点分类的深度图卷积网络
该论文提出了 DropEdge 技术来解决深层图卷积网络在节点分类中的过拟合和过度平滑问题。DropEdge 技术通过随机在每个训练迭代中移除一定数量的边缘节点来进行数据扩充和信息传递减少，旨在提高广义化效果和模型收敛速度。该技术还可以与其 - 词嵌入的维度性
通过提出 Pairwise Inner Product (PIP) loss 提出了一种新的度量词嵌入非相似性的方法，并使用矩阵摄动理论揭示了词嵌入维度选择中的基本偏差 - 方差权衡，同时阐明了词嵌入过度拟合的鲁棒性。
- 基于胶囊网络的脑肿瘤类型分类
本论文通过采用 Capsules 网络结构，解决了医学图像数据如 MRI 图像的处理问题，同时优化了神经网络的结构以提高大脑肿瘤分类问题的准确性，并解决过拟合问题。
- CVPR人物再识别的相机风格适应
使用 CycleGAN 的相机风格转换方法 (CamStyle) 进行数据增强和标签平滑正则化 (LSR) 处理，以解决人物再识别中不同相机影像风格引起的问题，并在少量相机系统中表现出相当的精度。
- CVPRECO：用于跟踪的高效卷积算子
通过引入卷积算子、压缩模型、限制更新策略等，本文提出了一种性能更优，速度更快的基于判别相关滤波的视觉跟踪方法。通过基准测试，证明该方法比当前优秀算法具有更好的性能表现，并且可以在单个 CPU 上进行实时跟踪。