Jul, 2024

序列推荐中的位置注意力学习

PDF
TL;DR自注意力机制网络在顺序推荐任务中取得了显著的性能表现。本研究探讨了学习到的位置编码，发现其通常捕捉到令牌之间的距离。基于这一发现，我们提出了直接学习位置关系的新型注意力模型。大量实验证明了我们提出的模型 PARec 和 FPARec 优于之前的自注意力方法。
self-attention-based networkspositional encodinglearned positional embeddingattention modelssequential recommendation tasks
发现论文，激发创造
  • 定位感知的自注意力与相对位置编码在槽填充中的应用

    本文提出如何在关系抽取任务中使用自注意力和相对位置编码。使用一个位置感知的注意力层，利用相对位置编码使每个单词考虑其左右上下文，仅使用注意力机制，在 TACRED 数据集上表现显著提升。

    Jul, 2018

  • 相对位置表示的自注意力

    本研究通过在自我关注机制中引入对序列元素相对位置或距离的表示，比绝对位置表示获得了更好的机器翻译结果。同时，将相对位置表示和绝对位置表示相结合并不能进一步提高翻译质量。

    Mar, 2018

  • 可学习的傅里叶特征用于多维空间位置编码

    本文提出了一种基于可学习的 Fourier 特征的新型位置编码方法，能够优化空间多维位置的表示、提高精度和加速收敛速度。

    Jun, 2021

  • 带有结构位置表示的自注意力机制

    本文提出将依赖树结构位置表示与传统的序列位置编码相结合，以更好地模拟输入句子的潜在结构，在中文到英文和英文到德语的翻译任务中，分别针对绝对和相对位置编码方式，实验证明提出的方法能够稳定提高自我注意力网络在各种自然语言处理任务上的表现。

    Sep, 2019

  • 卷积与自注意力：重新解释预训练语言模型中的相对位置

    该研究探讨了卷积和自注意力在自然语言任务中的关系，提出了一种将卷积融合到自注意力中的方法，并使用 BERT 在多个下游任务上验证了卷积相对于绝对位置嵌入的性能优势。

    Jun, 2021

  • 使用更好的相对位置嵌入改进 Transformer 模型

    本文提出基于自我关注机制的绝对位置嵌入和相对位置嵌入方法，通过增加查询、键和相对位置嵌入之间的交互，进一步优化了位置信息的利用。其最有前途的一种方法是将绝对位置嵌入泛化，相比之前的位置嵌入方法，在 SQuAD1.1 上有更好的表现。本文还通过实验证明了相对位置嵌入方法具有合理的泛化性和鲁棒性。最后，还展示了这种新方法可以用于在小的计算预算下提高大型模型的准确性。

    Sep, 2020

  • 基于 Transformer 的语言模型中的平移无关自注意力论证

    本文分析了现有语言模型的位置嵌入，发现其对于自注意力有着强烈的翻译不变性，并提出了一种解决方案 —— 翻译不变的自注意力模型（TISA），它可以以一种可解释的方式考虑标记之间的相对位置，而无需传统的位置嵌入，实验表明它在 GLUE 任务上的性能优于 ALBERT 模型。

    Jun, 2021

  • 使用并行计划采样和相对位置嵌入器改进 Transformer 对于语音识别的泛化能力

    本文中，我们提出了一种采用 parallel scheduling sampling (PSS) 和 relative positional embedding (RPE) 来帮助 Transformer 泛化到看不见的数据的方法。我们的方法在 10,000 小时普通话自动语音识别任务上，对于短语音有 7% 的相对改进和对于长语音有 70% 的相对改进。

    Nov, 2019

  • 语音识别和直接翻译的相对位置编码

    通过在自注意力网络中采用相对位置编码方案，我们成功地让 Transformer 模型适应了语音数据的分散分布特点，并在 Switchboard 基准测试中获得了最佳识别结果，也在 MuST-C 语音翻译基准测试中获得了最佳出版结果，并且我们的模型能够更好地利用合成数据，并适应语音翻译的变量句子分割质量。

    May, 2020

  • 减少 LLM 中的位置偏倚的定位感知参数高效微调方法

    通过开展广泛的实验证明，我们提出的 Position-Aware Parameter Efficient Fine-Tuning 方法能够减少大型语言模型中的位置偏差，从而提高处理长上下文序列的效果，并改进对需要从外部检索知识的各种任务的表现。

    Apr, 2024