COLINGOct, 2022

DABERT：用于语义匹配的双重注意力增强 BERT

PDF
TL;DR本文提出了一种新的 Dual Attention Enhanced BERT 模型来提高 BERT 对句子对微妙差异的捕捉能力，该模型包含双重关注模块和自适应融合模块，可以显著提升在语义匹配领域的表现。
pre-trained language modelssemantic sentence matchingdual attention enhanced bertaffinity and difference attentionsemantic matching
发现论文，激发创造
  • 双视角蒸馏 BERT 用于句子嵌入

    本文提出了一种基于 Dual-view distilled BERT~(DvBERT) 的句子匹配方法，该方法能够捕捉多个角度的句子信息，进而提升表征能力，相较于 state-of-the-art 方法，在六个 STS 任务上达到了更好的效果。

    Apr, 2021

  • 感知微妙冲突的双路径语义匹配建模

    提出一种基于双路径建模框架的 Transformer 模型，分别对语义关系的相似性和差异性进行建模，以增强模型感知句对中微妙差异的能力，实验结果表明，该模型与基线相比表现出更加一致的提升。

    Feb, 2023

  • DeBERTa: 解码增强的 BERT（具有分离的注意力机制）

    本文提出一种新的模型结构 DeBERTa，采用解缩融合模块和增强的掩膜解码器改进 BERT 和 RoBERTa 模型，在模型预训练和下游自然语言处理任务中显著提高效率和性能。它采用局部结构，实现了两种训练方法的密集耦合，不仅在 NLU 和 NLG 下游任务中取得明显好成绩，在 SuperGLUE 基准测试中也超过人类的得分。

    Jun, 2020

  • 通过依存增强预训练模型和自适应融合来提高语义匹配

    该论文提出了一种将依赖性结构有效整合到预训练模型中用于更好地建模复杂语义匹配关系的方法，即依赖增强自适应融合注意力方法（DAFA），并将其应用在 BERT 上，在 10 个公共数据集上实现了最先进或具有竞争性的性能。

    Oct, 2022

  • DecBERT：利用因果性注意力掩码增强 BERT 的语言理解能力

    本研究提出了一种新的预训练语言模型 DecBERT，通过引入因果注意力机制用于 BERT 模型的位置编码，证明其在自然语言处理任务中比传统方法更为有效，并通过 GLUE 基准测试取得了良好表现。

    Apr, 2022

  • DACBERT: 利用依存句法协议进行高性价比的 Bert 预训练

    通过引入新的预训练模型 DACBERT 和其两阶段的预训练框架 Dependency Agreement Pretraining，我们在代价高效的 Crammed BERT 的基础上进一步提升了其性能和可解释性。DACBERT 在多个任务中表现出显著的改进，超过 Crammed BERT。此外，我们的方法提升了平均 GLUE 得分，凸显其重要的潜力。预训练过程可以在一块 GPU 上在 24 小时周期内高效执行，不需要额外的计算资源或延长预训练的持续时间。大量研究进一步阐明了我们的方法在增强预训练语言模型对自然语言理解任务的可解释性方面的关键作用。

    Nov, 2023

  • 利用先验知识指导 BERT 在语义文本匹配任务中的注意力

    通过将先前的知识直接注入到 BERT 的注意力机制中，我们提出了一种简单而有效的方法来提高其在语义文本匹配任务中的性能，并在数据稀缺时表现最为显著。

    Feb, 2021

  • 跨语言语音情感识别：使用多模态双重注意力变换器

    本研究提出了一个利用基于多模态双重注意力变换器模型，结合图注意力与协同注意力，以提高跨语言情感识别性能，在 4 个公开数据集中获得了优秀表现的方法。该方法在高层次特征表示方面利用 Transformer 编码层来提高情感分类精度，并通过在各个阶段对特征表示进行细化以提供情感显著特征，既保留特定模态的情感信息又增强了跨模态和跨语言交互。

    Jun, 2023

  • XDBERT：从跨模态系统中提取视觉信息以改善语言理解的 BERT 知识蒸馏模型

    本文旨在研究如何将预训练的异模态 transformers 的视觉信息提炼给语言编码器，提出了一个被称为 XDBERT 的新框架，经过训练后在常规语言理解评估（GLUE）、有对抗生成的情况（SWAG）以及可读性基准测试上比预训练的 BERT 表现更好，并分析了 XDBERT 在 GLUE 上的表现，证明了改进很可能是基于视觉语言的。

    Apr, 2022

  • ESIE-BERT: 基于 BERT 明确丰富子词信息的联合意图分类和槽位填充

    该文章提出了一种基于 BERT 的新方法，在识别复杂 token 中的语义信息时，通过提出的子词注意适配器（SAA）来保留整个话语信息。此外，我们还提出了一个意向注意适配器（IAA）来在模型中实现整句特征提取，从而改进了预测性能，最终，我们在两个公共基准数据集上取得了显著的性能提升。

    Nov, 2022