relative position | BriefGPT

关键词relative position

搜索结果 - 4

P-Transformer：面向更好的文档到文档神经机器翻译
本文提出了一个使用位置感知 Transformer 的 Doc2Doc NMT 模型，通过整合绝对位置信息和相对位置信息，显著改善了传统 Transformer 在数据集小且层数较高时不能训练成功的问题，并在多个语言对的文档级翻译实验中取得
PDF2 years ago
向右看：减轻答疑中的相对位置偏差
研究发现，抽取式问答模型可能会利用表面提示预测答案，而不是真正理解问题。相对位置也可能被利用作为这种表面提示的一种方式。为了构建一个具有普适性的抽取式问答模型，有必要找出那些有可能被利用的表面提示，并采取一些方法去防止模型利用表面提示。作者
PDF2 years ago
EMNLP绝对位置嵌入的奇妙案例
使用 Transformer 语言模型中的绝对位置嵌入会导致对相对位置信息的过度依赖，从而使得模型在句子位置信息被移位时性能显著下降，这表明了使用绝对位置嵌入所建模 “相对位置信息” 的功效需要重新审视。
PDF2 years ago
AAAI从独立预测到重新排序预测：整合相对位置和全局标签信息以进行情感因果识别
本文旨在解决文本中情感表达的因果关系问题，通过提出基于神经网络编码三个元素（文本内容、相对位置、全局标签）的模型，并采用相对位置增强嵌入学习算法，实现基于重新排序的预测和动态全局标签的机制，成功地提升了情感原因识别的性能，表现明显优于许多竞
PDF5 years ago