encoder layer | BriefGPT - AI 论文速递

关键词encoder layer

搜索结果 - 8

ACLTransformer 模型中上下文混杂的量化
本文提出了一种针对 Transformer 模型的上下文混合得分方法 Value Zeroing，用于分析模型中各个编码层次信息混合的方式，并通过多种评估方法验证了该方法的优越性。
PDFa year ago
使用辅助任务的特征增强型机器阅读理解
研究提出在编码层注入多粒度信息来提高机器阅读理解系统的性能，并在实验中得出结果证明该方法适用于许多现有的 MRC 模型。
PDF2 years ago
ACL文本分类更具识别性与性能同样优秀的 Transformer
本研究提供了更深入的理论分析和经验观察来确定 Transformer 模型中 attention 权重的可辨识性，我们发现 attention 权重比我们目前的认知更可辨识。为了解决权重的不唯一问题，我们提供了一种解耦键向量和值向量之间关系
PDF3 years ago
TransMOT: 面向多目标跟踪的时空图形变换器
本文提出一种名为 TransMOT 的解决方案，利用强大的图形转换器来有效建模目标的空间和时间互作用，通过将轨迹作为一组稀疏加权图来排列跟踪对象的轨迹，并构建基于图形的空间图形变换器编码器层、时间变换器编码器层和空间图形变换器解码器层。Pr
PDF3 years ago
ACL通过分离位置信息提高零样本翻译的准确性
本研究提出了一种能够有效缓解多语言神经机器翻译中面临的零翻译问题的方法。我们的改进主要在于移除编码器层中的残差连接，使模型表示更多地与特定语言对应。通过此种改进，我们在零翻译的任务上获得高达 18.5 个 BLEU 点的提升，而且在其他有监
PDF4 years ago
COLING层间多视角学习用于神经机器翻译
本文提出了一种基于多视图学习和一致性正则化的方法来解决传统神经机器翻译中编码器只能根据顶层编码器层的上下文表示而不能直接感知较低编码器层的上下文表示的问题，并在五个翻译任务上进行了实验证明其有效性和稳定性，此外，该方法不依赖于网络架构。
PDF4 years ago
EMNLP基于 Transformer 的机器翻译中固定编码器自注意力模式
使用简单固定的关注模式替换 Transformer 中编码器层的大多数注意力头对神经机器翻译的质量没有影响，并且在资源匮乏的情况下，甚至可以将 BLEU 评分提高 3 个点。
PDF4 years ago
ACL利用句子上下文进行神经机器翻译
本研究提出了利用句子上下文进行神经机器翻译的新方法，并在 WMT14 英德和英法基准测试中进行了实验，结果表明，通过利用句子上下文可以提高翻译性能，深度句子上下文可以形成更全面的上下文表示。
PDF5 years ago