EMNLPOct, 2022

通过依存增强预训练模型和自适应融合来提高语义匹配

PDF
TL;DR该论文提出了一种将依赖性结构有效整合到预训练模型中用于更好地建模复杂语义匹配关系的方法，即依赖增强自适应融合注意力方法（DAFA），并将其应用在 BERT 上，在 10 个公共数据集上实现了最先进或具有竞争性的性能。
transformer-based pre-trained modelssemantic matchingdependency structureattentionbert
发现论文，激发创造
  • DABERT：用于语义匹配的双重注意力增强 BERT

    本文提出了一种新的 Dual Attention Enhanced BERT 模型来提高 BERT 对句子对微妙差异的捕捉能力，该模型包含双重关注模块和自适应融合模块，可以显著提升在语义匹配领域的表现。

    Oct, 2022

  • DAFNet：大语言模型中序贴模型编辑的动态辅助融合

    大型语言模型中的模型编辑任务，设计了动态辅助融合网络（DAFNet）以提升语义交互，并使用新构建的数据集 DAFSet 进行连续编辑，实验证明 DAFNet 在单轮和连续编辑任务中显著优于其他方法。

    May, 2024

  • 利用先验知识指导 BERT 在语义文本匹配任务中的注意力

    通过将先前的知识直接注入到 BERT 的注意力机制中，我们提出了一种简单而有效的方法来提高其在语义文本匹配任务中的性能，并在数据稀缺时表现最为显著。

    Feb, 2021

  • 语法增强的预训练模型

    文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

    Dec, 2020

  • 基于依赖感知自注意力机制的机器翻译增强

    本文研究了将句法知识纳入 Transformer 模型的不同方法，并提出一种新的、无需参数的依赖感知自注意机制，能够提高其翻译质量，特别是在长句子和低资源情况下。作者在 WMT 英德、英土和 WAT 英日翻译任务中展示了每种方法的有效性。

    Sep, 2019

  • 结合自适应增强语义信息的知识图谱补全方法

    该研究构建了一种知识图谱补全方法，通过微调 BERT 模型获取三元组中隐藏的语义信息，并使用注意力特征嵌入方法计算正负三元组中关系和实体之间的语义注意力得分，形成软约束规则来实现语义信息的自适应增强。此外，考虑到高维向量对影响，使用 BERT-Whitening 方法降低维度，提高语义向量的效率。经实验比较，在 FB15K 和 WIN18 数据集上，所提出的方法表现更好，比原始翻译模型有约 2.6％的数值改善。

    Feb, 2023

  • 将依存树整合到自注意力机制中的句子表示

    提出了一种依赖转换器的模型，它采用自注意机制与关系注意机制的协同作用来编码句子依存树中节点之间的依赖关系和空间位置关系，并成功注入了语法信息，提高了模型对句子的表示能力和计算效率。

    Mar, 2022

  • 语法树能帮助预训练 Transformer 提取信息吗？

    本文研究如何将依存树信息合并到预训练的 Transformer 模型中以提高信息提取任务的性能，在语义角色标注和关系抽取任务上，采用两种相似但不同的模型设计策略，通过实证研究发现这些语法增强的 Transformer 模型的性能提高取决于依存关系解析的质量。

    Aug, 2020

  • 关注实体以获得更好的文本理解

    在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

    Nov, 2019

  • DAFormer：用于领域自适应语义分割的网络架构和训练策略的改进

    本研究基于最新的神经网络架构研究了无监督域适应（UDA）领域，在语义分割方面揭示了 Transformers 的潜力。基于研究结果，本研究提出了一种新的 UDA 方法 DAFormer，并且通过三种简单却至关重要的训练策略，DAFormer 的实现在 GTA-to-Cityscapes 和 Synthia-to-Cityscapes 语义分割任务中取得了比目前最先进方法更好的表现。

    Nov, 2021