layernorm | BriefGPT - AI 论文速递

关键词layernorm

搜索结果 - 11

关注掩码和层归一化在 Transformer 中的作用
通过分析自我注意力机制和层标准化对秩崩溃的影响，本文发现层标准化在自我注意力的秩崩溃中起到了关键作用，为自我注意力提供了更富表现力、多功能的非线性动力系统。
PDFa month ago
ICML简化线性注意力和渐进重参数化批归一化的高效 Transformer (SLAB)
本研究针对 transformer 中的计算瓶颈模块，即正则化层和注意力模块，提出了一种名为 PRepBN 的新方法，用于逐步替换训练中的 LayerNorm，并提出了一种简化的线性注意力模块（SLA）以实现强大的性能。实验证明，该方法在图
PDFa month ago
层归一化的几何和动力学
一篇技术说明旨在提供对深度神经网络中常见的 LayerNorm 函数更深入的直观理解，通过开发新的数学表达和几何直觉，使其净效应更透明，强调当 LayerNorm 作用于 N 维向量空间时，所有 LayerNorm 的结果位于 (N-1)
PDF2 months ago
LayerNorm: 参数高效微调中的关键组件
改进和优化 BERT 预训练模型以实现参数高效微调，通过分析不同组件，发现经过微调后，输出层规范化（LayerNorm）发生的变化最为显著。通过仅微调 LayerNorm，可以达到与完全微调和其他参数高效微调方法相当甚至更好的性能，并用 F
PDF3 months ago
离线强化学习中 Q 值离散度的理解、预测和改善
在离线增强学习中，离线 Q 值估计的发散问题一直是一个突出的问题。本研究通过对机制的全面理解和对模型架构的改进，提出了解决发散问题的新途径，其中包括基于离线 RL 的自激励模式和通过 LayerNorm 架构提升性能。
PDF9 months ago
ACL关于 LayerNorm 在 Transformer 注意力机制中表现力的作用
本文表明，LayerNorm 是 Transformer 模型中 multi-head attention 层表现力的重要组成部分，其投影和缩放两个步骤对于注意力机制的作用至关重要。
PDFa year ago
XAI for Transformers: 通过保守传递实现更好的解释
本文讨论了使用梯度信息的 Transformer 解释性方法的效果不佳，识别输入特征对预测的贡献不可靠，提出了一种更稳定的方法，该方法可以被视为对 Transformer 的 LRP 方法的适当扩展，通过 Attention Heads 和
PDF2 years ago
ACLBERT 破坏者：干扰变换器的异常维度
本文发现虽然大多数研究查明 Transformer 是极为健壮的（指对剪枝的容忍度很高），但预先训练好的 Transformer 编码器对于在层输出中删除非常少的要素（模型权重的 < 0.0001%）却异常脆弱。本文发现，对于 BERT 和
PDF3 years ago
Batch Norm 是否独特？一个经验性研究与处方，在不依赖 Batch 的情况下模拟常见归一化器的最佳性能
本论文通过对 “Batch Norm” 等常见标准化方法的统计特性进行广泛的实证研究，提出可以更好地匹配这些理想特性的两种新的标准化方法，PreLayerNorm 和 RegNorm 。研究表明，它们可以实现 Batch Norm 的大部分
PDF4 years ago
理解和改善层归一化
本研究主要探讨了 LayerNorm 技术的有效性以及如何优化其性能，提出了一种新的规范化方法 AdaNorm，其实验结果比传统 LayerNorm 方法更好。
PDF5 years ago
均方根层标准化
该论文介绍了 RMSNorm 和 pRMSNorm，这是相对于对传统的 LayerNorm 进行改进，可使神经网络模型更具有稳定性和更快的收敛能力，同时保持了输入重新缩放的不变性，通过实验证明，RMSNorm 可以在不降低性能的情况下显著减
PDF5 years ago