- 特征削弱:临域数据增强分类
该论文提出了一种称为特征削弱的数据增强方法,可有效提高深度学习模型的分类性能和泛化能力,同时也稳定模型训练并加速模型收敛,特征削弱还能提高模型的鲁棒性。
- ICML通过深度强化学习实现平滑轨迹避碰
本论文针对 DRL 导航解决方案中的两个核心问题提出了多种新的代理状态和奖励函数设计,即平滑性训练轨迹和模型泛化能力,利用边缘奖励和平滑度约束来确保无人机平稳飞行,同时大大降低碰撞风险,并演示整个设计和各组件的有效性。
- 半监督和无监督深度视觉学习:一项综述
本文综述了针对可视化识别问题的先进深度学习算法在半监督学习和无监督学习范式下的研究进展,提出了统一的分类方法,并分析了它们在不同学习场景和计算机视觉任务中的设计原理及应用,最后探讨了 SSL 和 UL 中的新趋势和挑战。
- DiscrimLoss: 一种用于困难样本和错误识别样本的通用损失函数
本文提出了针对有标签噪声(即不正确的数据)的深度神经网络训练方法,通过引入一个新增的损失函数 DiscrimLoss 可以增强模型对易样本和难样本(包括困难和错误样本)的学习程度,并且能够动态自适应地模拟课程学习的主要原则,多种实验结果证明 - 模型泛化:基于锐度感知优化的视角
通过进行三个实验,我们证明了基于锐度感知的优化技术可以提供具有强大泛化能力的模型,并且进一步证明了自适应锐度感知的最小化算法可以提高非标准化数据的泛化性能,但需要进一步研究来确认。
- 动态批量适应
该研究提出了一种名为 “Dynamic Batch Adaptation” 的新训练过程,它可以基于梯度的方差等因素,动态选择每个样本的梯度子集来决定当前的更新步骤,这有效提高了模型的收敛速度和泛化能力。
- 数据扩增:对卷积神经网络效果的深入探讨
本文旨在评估不同数据集上的数据增强技术对于不同神经网络的性能影响,显示出一种把数据增强技术和深度学习模型架构相结合的方法可提高深度学习任务的性能。
- CVPR使用自混合图像检测 Deepfakes
本研究提出一种名为 SBIs 的新型合成训练数据,可以检测 Deepfakes。SBIs 由单一原始图像混合伪源和目标图像生成,从而复制普遍的伪造痕迹,同时鼓励分类器学习更通用和稳健的表示,从而提高模型对未知操作和场景的泛化效果。
- 药物 - 靶标结合亲和力预测的分层图表示学习
提出了一种新的分层图表示学习模型 HGRL-DTA 用于药物靶标亲和力预测,利用全局亲和力网络和局部分子图所学的分层表示,并采用相似性嵌入映射来解决未见药物和靶标的表示问题。实验结果表明,HGRL-DTA 在多种场景下显著优于现有的基准模型 - CVPRTeachAugment: 利用教师知识优化数据增强
该研究提出了一种名为 TeachAugment 的数据增强优化方法,使用对抗策略和教师模型来搜索增强,简化搜索空间设计并允许使用梯度方法更新数据增强。在图像分类、语义分割和无监督表示学习任务的实验中,TeachAugment 优于现有方法。
- ScaLA: 通过高效的大批量对抗性噪声加速预训练的基于 Transformer 的语言模型的适应性
通过加入轻量级对抗噪声到大规模优化中,我们提出了 ScaLA 方法,可以加速预训练 transformer 网络的自适应速度,并在保持模型概括能力的同时,取得了与最先进的大批量优化方法相当甚至更高的准确性。
- EMNLP动态调整权重的锐度感知最小化
本研究提出了 delta-SAM 算法来提高深度神经网络的泛化性能,通过动态重新赋权在每个 batch 中实现更强的对抗权重扰动以逼近更强的单实例扰动。
- 综合多样特征先验
本研究中,我们发现使用不同特征先验训练的模型具有较少重叠的失败模式,可以更有效地进行组合,并展示共同训练这些模型对额外 (未标记的) 数据可以互相修正错误,从而提高泛化和对噪声的鲁棒性。
- EMNLPARCH: 高效具有缓存的对抗正则训练
提出 ARCH 方法,与传统方法相比较大地减小计算负担,并对自然语言处理中的一些任务进行了评估。
- KDD中点正则化:从高度不确定性训练到保守分类
本文介绍了标签平滑(LS)和 example pairs 平滑(PLS)两种方法,其中 PLS 方法较 LS 方法在模型泛化和分类错误率降低等方面表现更优,通过平滑处理来生成高不确定性标签的样本用于训练,实验结果证明了 PLS 方法的有效性 - LEADS: 在不同环境中泛化的学习动态系统
LEADS 是一种新的框架,通过在共享模型中捕捉共同动态和捕获环境特定动态的额外项,利用已知环境的共享性和差异性来提高模型的泛化能力。该方法在理论和实验上的结果表明,这种新的设置可以利用从依赖于环境的数据中提取的知识,并改善已知和新环境的泛 - CVPR单领域泛化的对抗自适应归一化
本文提出了一种通用的标准化方法 — 自适应标准化和重新缩放标准化(ASR-Norm),通过神经网络学习标准化和重新缩放的统计数据,可以进一步提高单域泛化模型的范化能力,特别是在源域与目标域差异较大的情况下,该方法在 Digits、CIFAR - 非自回归任务导向语义解析的跨度指针网络
本研究提出基于 span pointer networks 的非自回归任务导向的语义解析器,通过将推断任务从文本生成转移到区间预测,从而改善了长度预测和提高了模型的泛化能力。
- AAAI双向蒸馏的多视角特征表示在对话生成中的应用
本文提出一种基于知识蒸馏的对话模型训练框架,通过分组多任务学习、多视角特征蒸馏和双向蒸馏等策略,找到多数据集共性知识以提高模型泛化性能。实验结果表明该框架可以有效地提高模型的泛化性能,而不影响训练效率。
- AAAI协作式小组学习
在这篇论文中,我们提出了一种名为协作组学习的有效框架,通过随机地路由学习表示来减少学生同质化并提高模型泛化能力,并受到分组学习机制的启发,鼓励学生作为合作小组学习和交流不同的知识部分。