Jun, 2020

DeBERTa: 解码增强的 BERT（具有分离的注意力机制）

PDF
TL;DR本文提出一种新的模型结构 DeBERTa，采用解缩融合模块和增强的掩膜解码器改进 BERT 和 RoBERTa 模型，在模型预训练和下游自然语言处理任务中显著提高效率和性能。它采用局部结构，实现了两种训练方法的密集耦合，不仅在 NLU 和 NLG 下游任务中取得明显好成绩，在 SuperGLUE 基准测试中也超过人类的得分。
debertapre-trained neural language modelsdisentangled attention mechanismvirtual adversarial training methodnlp tasks
发现论文，激发创造
  • DrBERT: BERT 预训练中揭示掩码语言模型解码器的潜力

    提出了多个增强的解码器设计，并引入了 DrBERT（经过解码器优化的 BERT）作为一种新方法进行模型训练，通过微调对原始 BERT 模型的解码器进行改进，有效提高了模型性能而不增加推理时间和资源使用。

    Jan, 2024

  • DecBERT：利用因果性注意力掩码增强 BERT 的语言理解能力

    本研究提出了一种新的预训练语言模型 DecBERT，通过引入因果注意力机制用于 BERT 模型的位置编码，证明其在自然语言处理任务中比传统方法更为有效，并通过 GLUE 基准测试取得了良好表现。

    Apr, 2022

  • DeBERTaV3：使用基于 ELECTRA 风格的预训练和渐变解缠嵌入共享来提高 DeBERTa

    提出使用更高效的预训练任务 Replaced Token Detection (RTD) 替代 Mask Language Modeling (MLM) 的新预训练语言模型 DeBERTaV3，并采用新的梯度解耦嵌入共享方法以提高训练效率和质量。在众多的下游 NLU 任务中，DeBERTaV3 表现出较其他同类结构的模型更高的正确率。

    Nov, 2021

  • DialBERT：一种用于对话分离的分层预训练模型

    提出了一种整合局部和全局语义的新模型 Dialogue BERT (DialBERT) 来解决在同一通道中同时发生多个对话的混淆问题，其中使用 BERT 在 utterance 级别捕捉每个 utterance 对信息的匹配信息，并使用 BiLSTM 聚合和合并 context 级别信息，与 BERT 相比，只增加了 3% 的参数，并取得了 12% 的 F1-Score 提升，该模型在 IBM 提出的新数据集上达到了最先进的结果，并大幅超越了先前的工作。

    Apr, 2020

  • 使用适配器将 BERT 整合到并行序列解码中

    本研究提出了一种通过加入轻量级适配器模块在 BERT 编码器和解码器之间 fine-tuning 来应对语言生成任务的问题，并在神经机器翻译任务上验证了该方法的有效性。

    Oct, 2020

  • DABERT：用于语义匹配的双重注意力增强 BERT

    本文提出了一种新的 Dual Attention Enhanced BERT 模型来提高 BERT 对句子对微妙差异的捕捉能力，该模型包含双重关注模块和自适应融合模块，可以显著提升在语义匹配领域的表现。

    Oct, 2022

  • DiMBERT: 学习具有分离多模态注意的视觉语言基础表示

    DiMBERT 是一个新的框架，利用分离的注意力空间对多模态信息进行处理，在引入视觉概念的同时，在文本格式中表示视觉信息，从而加强对视觉和语言之间关联的捕捉，可以用于图像描述，视觉叙事和指称表达的分类任务，并可以轻松的集成到现有的视觉和语言模型中以提高性能。

    Oct, 2022

  • 使用混合池化网络和 Drop Mask 改进 BERT

    本研究提出了一种融合了自注意力和池化网络以编码每个层中的不同上下文特征的 HybridBERT 模型，并提出了一种简单的 DropMask 方法，用于解决预训练和微调之间的不匹配问题。实验表明，HybridBERT 在预训练和迁移学习中均优于 BERT，并且 DropMask 改善了在各种掩码率下 BERT 的下游任务的准确性。

    Jul, 2023

  • 关注实体以获得更好的文本理解

    在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

    Nov, 2019

  • 知识增强注意力用于稳健的自然语言推理

    本文提出一种利用简单变换将外部知识纳入注意机制来使 NLI 模型更加稳健的方法，将其应用于 Transformer 编码器和可分解模型中，结果表明该方法可以显著提高它们的稳健性。并且，在与 BERT 预训练相结合时，在对抗 SNLI 数据集上实现了人类水平的性能。

    Aug, 2019