Aug, 2020

使用基于跨度的动态卷积来改进 BERT 的 ConvBERT

PDF
TL;DR本文提出一种用于自然语言理解中的深度神经网络模型 ConvBERT，用于替换 BERT 中占用计算和存储的全局自我注意力块，以实现更高效的全局和局部语境学习，经实验证明，在各种下游任务中，ConvBERT 均能显著优于 BERT 及其变体，且训练成本更低。
发现论文，激发创造
  • 基于分块的自注意力机制实现长文本理解

    BlockBERT 为一个高效的 BERT 模型，引入了稀疏块结构，以更好的建模长距离依赖关系，在语言模型预训练和基准问答数据集上进行了实验。与 RoBERTa 模型相比，BlockBERT 可以节省大约 27.8% 的推理时间，并具有可比甚至更好的预测准确性。

    Nov, 2019

  • 卷积与自注意力：重新解释预训练语言模型中的相对位置

    该研究探讨了卷积和自注意力在自然语言任务中的关系，提出了一种将卷积融合到自注意力中的方法，并使用 BERT 在多个下游任务上验证了卷积相对于绝对位置嵌入的性能优势。

    Jun, 2021

  • 利用语法感知的局部注意力提升 BERT 性能

    本文提出一种基于句法结构的局部语义注意力机制，将其与 BERT 等预训练语言模型相结合，提高对句子中句法相关词的关注度，在单句分类和序列标注等任务中实现了一致性增益。

    Dec, 2020

  • SpanBERT：通过表示和预测跨度来提高预训练

    本论文提出了 SpanBERT 预训练方法，扩展了 BERT 的掩蔽方式和训练方式，使其在跨度选择和指代消解等任务中表现出比 BERT 和基线更优秀的性能，包括在 SQuAD、OntoNotes 和 TACRED 等各种基准测试上都取得了更好的结果。

    Jul, 2019

  • 使用混合池化网络和 Drop Mask 改进 BERT

    本研究提出了一种融合了自注意力和池化网络以编码每个层中的不同上下文特征的 HybridBERT 模型，并提出了一种简单的 DropMask 方法，用于解决预训练和微调之间的不匹配问题。实验表明，HybridBERT 在预训练和迁移学习中均优于 BERT，并且 DropMask 改善了在各种掩码率下 BERT 的下游任务的准确性。

    Jul, 2023

  • 轻量级和动态卷积：减少注意力的付出

    本文研究了使用自我关注（self-attention）和动态卷积（dynamic convolutions）两种机制建立语言和图像生成模型的效率以及准确性问题，并证明了动态卷积在大规模机器翻译、语言模型和提取式摘要等任务中的表现优于强的自我关注模型，得到了 WMT'14 英德测试集中 29.7 BLEU 的最高分。

    Jan, 2019

  • LV-BERT：利用层面多样性的 BERT 模型

    该研究改进预训练模型，采用多种不同类型和顺序的神经网络层，采用进化算法寻找最优结构，在多个任务中优于现有的 BERT 模型。

    Jun, 2021

  • 为卷积网络设计 BERT: 稀疏和分级掩码建模

    本论文通过采用稀疏卷积和分层解码器等新技术，将 BERT - 风格的预训练方法推广到卷积神经网络领域，并且在 ResNet 和 ConvNeXt 等模型上进行了验证，在目标检测和实例分割等任务中，优于当前最先进的对比学习和变换器掩模建模方法。

    Jan, 2023

  • SqueezeBERT：计算机视觉对 NLP 何以教会我们高效神经网络？

    使用分组卷积替换自我注意层中的多个操作，提出了一种新颖的神经网络模型 SqueezeBERT，它在 Pixel 3 上运行比 BERT-base 快 4.3 倍，同时在 GLUE 测试集上取得有竞争力的准确性，从而为在移动设备中实施自然语言处理（NLP）技术提供了重要的帮助。

    Jun, 2020

  • 关注实体以获得更好的文本理解

    在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

    Nov, 2019