encoder layers | BriefGPT - AI 论文速递

关键词encoder layers

搜索结果 - 7

重新思考编码器层与解码器层之间的自适应关系
该论文探讨了编码器层和解码器层之间的适应性关系，使用 Helsinki-NLP/opus-mt-de-en 这一最先进模型将德语翻译为英语。具体方法是在编码器和解码器之间引入一个无偏差的全连接层，并对该层的权重进行不同的初始化，观察微调与重
PDF2 months ago
Mask2Former 风格模型的高效 Transformer 编码器
基于视觉 Transformer 的模型在图像分割任务上取得了显著的改进。然而，这些架构对计算资源的使用可能对部署设备造成负担。为了克服这一挑战，我们引入了 ECO-M2F，即 EffiCient TransfOrmer Encoders
PDF2 months ago
SALTTS：利用自我监督的语音表示改进语音合成
通过结合 Self-Supervised Learning 的表示形式，使用 encoder 层次重建其表示结果并应用于数据增强技术，提高 FastSpeech2 的语音合成质量。
PDFa year ago
全球提示细胞：一种便携式控制模块，用于有效提示
本文介绍了一种新型预训练模型调整方法，即 prompt tuning。它将可训练的嵌入插入到第一层的输入中，同时冻结下游任务中的参数。然而，如何训练和合理利用提示嵌入已成为限制 prompt tuning 有效性的一个问题。为了解决这个问题
PDFa year ago
可编程计算机的环形变压器
本文提出了一种使用 transformer 网络作为通用计算机的框架，演示了一种将迭代算法映射为循环可执行程序的方法，并展示了注意力机制的多种用途。
PDFa year ago
多语言 BERT 中注意力头的可剪枝性
通过对 mBERT 进行修剪，我们 quantifying 它的鲁棒性和逐层理解其重要性，结果表明缩减其注意力容量不会影响其鲁棒性。而在跨语言任务 XNLI 中，修剪会导致准确性下降，这表明跨语言转移的鲁棒性较低。此外，编码器层的重要性受语
PDF3 years ago
自注意力在基于 Transformer 的自动语音识别中的应用价值
本研究研究了 Transformers 中自注意力机制在音频识别中的应用，发现在训练较高的编码层时，全局视图不是必须的。
PDF4 years ago