regularization approach | BriefGPT

关键词regularization approach

搜索结果 - 9

我们是否可以通过神经崩溃来理解可塑性？
本文探讨深度学习中两个最近发现的现象之间的联系：可塑性损失和神经崩溃。我们分析了它们在不同场景中的相关性，揭示了在第一任务的初始训练阶段存在显著关联。此外，我们介绍了一种规范化方法来减轻神经崩溃，证明了它在这种特定情况下减缓可塑性损失的有效
PDF3 months ago
从健壮性到预训练语言模型的改进泛化和校准
通过 Jacobian 和 Hessian 正则化方法，本研究探讨了提高预训练语言模型 (PLM) 泛化性和不确定性量化的重要性。我们引入了一种新的两阶段正则化方法 JacHess，通过最小化 PLM 中间表示的 Jacobian 和 He
PDF3 months ago
通过联合分类和多个显式检测类别提高对抗鲁棒性
通过采用正则化方法和训练方法解决加入多个 “弃权” 类别导致 “模型退化” 的问题，进一步扩展了联合鲁棒分类 - 检测的可证明框架，一定程度上提高了多种选择下的标准与鲁棒验证准确度的折衷结果，胜过现有算法。
PDF2 years ago
CVPR使用大批次和相似度混合的 Top-k 替代损失
通过发掘新的损失函数、批大小和新的正则化方法之间的相互作用来学习用于检索的深度视觉表示模型。提出了一种可微的代理损失作为召回的替代，使用一个实现操作在成对标量相似度上的有效的混合正则化方法，以训练具有极高批大小的模型。该方法在多个图像检索基
PDF3 years ago
CVPR有限数据下的生成对抗网络正则化
该论文提出了一种正则化方法来训练健壮的 GAN 模型，使其在有限的训练数据下表现更好，并且在几个基准数据集上的实验证明了该方法在提高泛化性能和稳定学习动态方面的有效性。
PDF3 years ago
AAAI从神经网络中学习准确且可解释的决策规则集
本文提出了一种新的范式，使用一个可解释的二层神经网络学习一组独立的逻辑规则作为分类的模型，并提出一种基于稀疏性的规则得出算法，相比其他学习算法和黑匣子模型，该方法可以在分类准确性和简单性之间取得更好的平衡。
PDF3 years ago
基于实例的超集标签学习的正则化方法
本文提出了一种基于正则化的方法（RegISL），用于解决超集标签学习（SLL）中候选标签之间互斥关系对无歧义训练标签生成的影响问题，使得本方法与常用 SLL 方法相比，在训练和测试准确性上都有显着的优越性。
PDF5 years ago
为提高语义一致性，正则化中国社交媒体抽象文本摘要的输出分布
本文探讨了抽象文本摘要中生成内容与原文义不相符的问题，并提出了以正则化为基础的序列到序列模型和实用人工评估方法以解决问题。实验结果表明，该方法在提高人工评估的语义一致性方面比以前的模型有效。
PDF6 years ago
通过正则化稳定生成对抗网络的训练
通过提出一种新的正则化方法，我们克服了 GAN 模型分布和数据分布之间维度不匹配的局限性，并证明了该正则化方法在多种常见图像生成任务中的有效性。
PDF7 years ago