Oct, 2019

BERT 的通用文本表示：一项实证研究

PDF
TL;DR该论文系统地研究了面向通用文本表示的分层 BERT 激活，以了解其捕获的语言信息以及它们在不同任务之间的可转移性。在下游和探测任务中，句子级别的嵌入与两个最先进的模型进行了比较，而段落级别的嵌入则在四个问答（QA）数据集上进行了学习排名问题设置的评估。结果表明，将预训练的 BERT 模型微调于自然语言推断数据上可以显著提高嵌入的质量。
发现论文，激发创造
  • BERT 用于情感分析：预训练和微调的替代方案

    本文进行了一项针对语言模型 BERT 的情感分析任务的实验性研究，重点分析了如何更好地处理 BERT 输出层的不同嵌入以及使用与多语言模型相比更适合巴西葡萄牙语的语言模型的聚合策略和技术，并发现 BERT 在大多数情况下与 TF-IDF 相比取得了更高的预测性能，但 TF-IDF 在预测性能和计算成本之间达到了良好的平衡。

    Jan, 2022

  • BERT Fine-tuning 中嵌入向量发生了什么？

    研究表明，微调 BERT 模型会显著影响其顶部层的表示，尤其是依赖解析涉及模型的大部分，而 SQuAD 和 MNLI 涉及的则较浅。此外，在域外句子的表示方面，微调的影响较弱，这表明模型泛化有待改进。

    Apr, 2020

  • 从自然出现的商业对话中提取相似问题

    我们使用经过适当调整的表示方法和少量示例来对商业用户感兴趣的问题进行分组，并制作可用于数据探索或员工培训的可视化。

    Jun, 2022

  • BERT 是如何回答问题的：对 Transformer 表示进行逐层分析

    我们对 BERT 的隐藏状态进行逐层分析，揭示了这些状态所包含的有价值的信息，包括 QA 任务 fine-tuned 的模型如何转换令牌向量以找到正确的答案。通过应用一组用于揭示每个表示层中存储信息的一般和 QA 特定探测任务，我们的分析显示 BERT 的转换经历了与传统 pipeline 任务相关的阶段，且细微调整对模型的语意能力影响不大，即使在早期层也可以识别出预测错误。

    Sep, 2019

  • BERTnesia: 探究 BERT 中知识的捕捉和遗忘

    这篇文章探讨了 BERT 模型如何从它的参数化内存中获取关系知识，并使用知识库补全任务在 BERT 的每一层中进行了测试。作者发现，中间层对于 BERT 模型中的总知识量贡献了很大的部分，同时发现 fine-tune 时，与训练数据和训练目标有关。而容量和事实密度是学习事实的关键。

    Jun, 2021

  • 可视化和测量 BERT 的几何形状

    本文描述了一种特别有效的模型 BERT，它能够通过从语义和句法子空间中提取一般有用的语言特征来代表语言信息，同时还探讨了注意力矩阵和单词嵌入中的句法表示，并提出了一种数学证明来解释这些表示的几何形态。

    Jun, 2019

  • SBERT-WK：通过解剖基于 BERT 的词模型的句子嵌入方法

    本文介绍了一种基于 BERT 的词模型的高质量句子嵌入方法 ——SBERT-WK，它通过对词表示所张成空间的几何分析，研究了深度上下文模型词表示的分层模式，并在语义文本相似度和下游监督任务中评估了其性能，实验结果表明 SBERT-WK 取得了最先进的性能。

    Feb, 2020

  • 关于预训练语言模型中句子嵌入的研究

    本篇论文提出通过使 BERT 句子嵌入分布变换成平滑和各向同性的高斯分布，从而提高 BERT 在各种语义文本相似度任务中的表现。实验证明，我们提出的 BERT-flow 方法在各种任务中显著优于现有状态下的句子嵌入方法。

    Nov, 2020

  • 面向实体搜索的实体感知 Transformer

    本篇文章研究使用知识图谱中的实体信息是否有助于基于 BERT 的实体检索模型，结果表明使用实体信息的 BERT 模型在复杂自然语言查询和属性筛选等实体相关查询任务中相比传统 BERT 模型具有更好的推荐效果，并且使用该模型可以在数据不足的情况下进行微调以实现对实体搜索的数据有效训练。

    May, 2022

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018