generalization behavior | BriefGPT

关键词generalization behavior

搜索结果 - 8

深刻理解：深度神经网络是否能更好地泛化？
通过深度神经网络的研究，我们发现 grokking 现象对于深层网络更为敏感，且特征排名的减少与过拟合到泛化阶段的相变存在关联，特征排名可能比权重范数更能指示模型的泛化行为。
PDFa month ago
理解马尔可夫逻辑网络中的领域规模泛化
我们研究了马尔科夫逻辑网络在不同大小关系结构之间的泛化行为。我们量化了内部一致性缺乏对马尔科夫逻辑网络参数方差的影响，并证明最大化数据对数似然和最小化参数方差对应于不同大小领域的两个泛化概念。通过控制参数方差，我们改善了马尔科夫逻辑网络的内
PDF3 months ago
没有一种表示能够掌握所有知识：训练方法的重叠特征
通过对超参、架构、框架和数据集进行大规模实证研究，我们发现训练方法的差异会导致模型产生不同的泛化行为，从而在子域中表现更好，与其他模型的错误更不相关。这种多样性可以提高集成表现，并且连低准确度的模型也可以用来提高高准确度的模型。此外，我们发
PDF3 years ago
模型鲁棒性的奇异值视角
本文研究探讨卷积神经网络在人工智能领域的应用，并且探讨该类网络存在的问题和局限性，提出使用奇异值分解方法可以分析卷积神经网络中涉及到的非人类因素，从而对其产生作用的原因展开研究。同时提出了一种新的特征分配方法，建立了卷积神经网络的理论框架。
PDF4 years ago
AAAI神经模型泛化再思考：命名实体识别案例研究
本文在命名实体识别任务上，提出了一种新的泛化能力指标，通过在多个角度分析已有模型在泛化行为上的不同表现，历经深入实验分析，得出了现有神经网络命名实体识别模型在数据集偏差、注释错误等方面存在局限性，并提出了改进方向的训练方法。此外，作者还开源
PDF4 years ago
ACL序列到序列网络中的层级归纳偏差源：语法需要生长在树上吗？
研究神经序列到序列模型中的归纳偏差如何影响其推广行为，发现只有采用具有语法结构的树状模型才能保持类人语法推广能力。
PDF4 years ago
CVPR高频分量有助于解释卷积神经网络的泛化能力
本文研究了图像数据的频谱与卷积神经网络（CNN）的泛化行为之间的关系，揭示了 CNN 捕获高频率组件的能力，提出与 CNN 泛化行为相关的多个假设，并探讨了 CNN 在鲁棒性与准确性之间的平衡及训练启发式的一些证据。
PDF5 years ago
基于路径范数的 ReLU 神经网络容量控制
提出一种基于一组线性独立路径的新范数，用于更准确地衡量神经网络的容量，在基于此范数的正则化方法下获得更好的测试性能。
PDF6 years ago