BriefGPT.xyz
Ask
alpha
关键词
regularizing
搜索结果 - 4
使用深度卷积神经网络进行音频分类和标记的接收域正则化技术
本文研究了不同音频任务中已知卷积神经网络架构的变体性能。结果表明,调整卷积神经网络的感受野对其广义性至关重要。通过跨越多个音频分类和标记任务进行系统测试,我们提出了几种系统方法来控制 CNN 的 RF,并表明使用我们提出的方法对 CNN 的
→
PDF
3 years ago
DropAttention: 一种全连接自注意力网络的正则化方法
探索在 Transformers 中规范化注意权重以防止过度拟合,并表明 DropAttention 能够提高性能并减少过度拟合。
PDF
5 years ago
ACL
使用输出嵌入来改进语言模型
本文研究神经网络语言模型的最高权重矩阵,表明这个矩阵构成有效的单词嵌入,建议绑定输入嵌入和输出嵌入的训练方法并提供新的输出嵌入规则,这些方法能够显著降低困惑度并在不影响性能的情况下减少神经翻译模型的尺寸。
PDF
8 years ago
通过随机保留隐藏层激活来规范化 RNNs 的 Zoneout 方法
本文提出了一种名为 zoneout 的新型 RNN 正则化方法,其通过异步化一部分隐藏单元来提高模型的泛化能力,并在字符和词级语言建模的任务中获得了竞争性的结果。
PDF
8 years ago
Prev
Next