Oct, 2019

BERT的通用文本表示：一项实证研究

HTML
PDF
TL;DR该论文系统地研究了面向通用文本表示的分层BERT激活，以了解其捕获的语言信息以及它们在不同任务之间的可转移性。在下游和探测任务中，句子级别的嵌入与两个最先进的模型进行了比较，而段落级别的嵌入则在四个问答（QA）数据集上进行了学习排名问题设置的评估。结果表明，将预训练的BERT模型微调于自然语言推断数据上可以显著提高嵌入的质量。
发现论文，激发创造
  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 从BERT中提炼出特定任务的知识并转化为简单的神经网络

    本文主要研究神经网络中的自然语言处理，通过将BERT知识蒸馏成单层BiLSTM及其同侧对应的句对任务，证明了浅层神经网络仍然可以在不使用架构变化、外部训练数据或其他输入特征的情况下，与ELMo相比获得可媲美的结果。

    Mar, 2019

  • 通过精简句子嵌入，可扩展的注意力句对建模

    该研究介绍一种基于知识蒸馏的Distilled Sentence Embedding(DSE)模型，旨在通过构建一个用于重构跨注意力模型得分的基于句子嵌入的学生模型，加速计算查询-候选句子对的相似度并在句子表示基准测试中达到最先进的性能。

    Aug, 2019

  • 限制篇幅下 BERT 在非事实型问答中的研究

    研究使用BERT进行非事实类问题回答，重点关注在不同文本长度下的文本重排任务。通过探索BERT在不同的排序方法下进行微调，包括逐点和逐对方法，在现有技术上取得了显着的进展。随后，分析了BERT在不同文本长度下的效果，并提出了如何应对大文本数据。

    Aug, 2019

  • BERT是如何回答问题的：对Transformer表示进行逐层分析

    我们对BERT的隐藏状态进行逐层分析，揭示了这些状态所包含的有价值的信息，包括QA任务fine-tuned的模型如何转换令牌向量以找到正确的答案。通过应用一组用于揭示每个表示层中存储信息的一般和QA特定探测任务，我们的分析显示BERT的转换经历了与传统pipeline任务相关的阶段，且细微调整对模型的语意能力影响不大，即使在早期层也可以识别出预测错误。

    Sep, 2019

  • 基于阅读理解的问答中BERT的解释研究

    该论文使用 Integrated Gradients 解释 BERT 在阅读理解中的层次化功能，发现早期层次着重于查询-段落交互，而后期层次集中在上下文理解和应答预测，特别适用于量词问题，即使是在存在混淆的情况下，BERT 仍然能够正确预测答案。

    Oct, 2020

  • BERT和ALBERT句子嵌入在下游NLP任务中的表现评估

    探讨了使用BERT和ALBERT进行Sentence Embedding的方式，并通过实验发现，对于STS和NLI数据集的任务，ALBERT表现明显优于BERT。

    Jan, 2021

  • 评估文本嵌入的结构效度及其在调查问题中的应用

    该研究提出了使用构造效度框架评价文本嵌入模型在社会科学研究中的有效性，并发现基于BERT的嵌入技术和通用句子编码器提供了更有效的调查问题表述。

    Feb, 2022

  • BERTVision--一种用于问答的参数高效方法

    提出一种高效的问答方法，通过利用BERT层每个transformer的隐藏状态激活信息（在典型的BERT推断中被丢弃）显著减少了对扩展BERT微调的需求，进一步通过与BERT预测集成的模型提高性能，并发现通过较少的训练数据可以实现接近最优的QA span注释性能， 该方法不仅适用于span注释，而且适用于分类任务，可能可推广到更广泛的任务范围。

    Feb, 2022

  • 通过层修剪构建高效句子BERT模型

    本研究解决了在创建高效句子BERT（SBERT）模型时的复杂性问题。通过层修剪的创新方法，研究表明经过修剪的模型在保持高质量嵌入相似性的同时，能够与完整层次的版本竞争，并且优于同类小型训练模型。这一发现为有限技术资源语言的SBERT模型提供了更为实用的解决方案。

    Sep, 2024