Feb, 2024

利用BERT进行信息检索：调查、应用、资源和挑战

HTML
PDF
TL;DR近年来，深度学习在解决各种自然语言处理问题上得到了大量应用。本文回顾了以BERT为代表的预训练模型在信息检索领域的方法，涵盖了长文档处理、语义信息整合、平衡效果与效率、术语权重预测、查询扩展和文档扩展等六个高级类别，并与基于解码器的生成式大型语言模型进行了比较，结果表明在特定任务上，经过调优的BERT编码器仍然具有更好的性能和更低的部署成本。最后，总结了调查的全面结果，并提出了未来研究的方向。
发现论文，激发创造
  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • DocBERT：文件分类的BERT模型

    本研究使用BERT进行文档分类，并展示出其在四个流行数据集上的最新成果。为了解决BERT推理的计算开销，研究者提出使用知识蒸馏技术，将BERT的知识转移到小型双向LSTM中，并使用30倍更少的参数达到了BERT-base相当的性能。该研究的主要贡献在于提高了基线水平，为未来的工作提供了基础。

    Apr, 2019

  • 对BERT在段落重新排序中的成功与失败的调查

    通过对MS MARCO段落重新排序数据集的实证研究，分析fine-tuned BERT模型的结果，探讨BERT在检索方面成功和失败的潜在原因及其性能中 成功的细节

    May, 2019

  • 为新十年打下基础：使用BERT进行序列标注、句法和语义分析

    本研究采用最新的语境化嵌入框架BERT，为词性标注、句法分析和语义分析三个任务提出了最新的技术模型，并在12个英文和中文数据集上进行了实验，结果表明BERT模型在这三项任务中均优于当前最佳模型平均2.5％（最显着的情况下是7.5％），并提供了关于BERT嵌入影响的深入分析。

    Aug, 2019

  • 使用预训练编码器进行文本摘要

    本研究展示了BERT如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于BERT的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个Transformer层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

    Aug, 2019

  • BERT下的跨语言信息检索

    使用BERT模型在多语言语料中训练跨语言信息检索模型，实验结果显示该模型在英语查询与立陶宛语文档的信息检索任务中优于其他竞争模型

    Apr, 2020

  • 预训练变形金刚模型用于文本排名：BERT及其它

    本文主要阐述了如何将transformers和self-supervised pretraining技术应用于文本排名问题，组成了两个高级别的现代技术，即在多阶段架构中进行reranking的transformer模型和直接进行排名的密集检索技术，并对处理长文档和处理效率和效果之间的平衡这两个主题进行了分析，同时也展望了研究的未来方向。

    Oct, 2020

  • 利用先验知识指导BERT在语义文本匹配任务中的注意力

    通过将先前的知识直接注入到BERT的注意力机制中，我们提出了一种简单而有效的方法来提高其在语义文本匹配任务中的性能，并在数据稀缺时表现最为显著。

    Feb, 2021

  • 利用检索启发式方法进行BERT的诊断

    本文通过引入公理化数据集分析技术，研究了BERT模型在信息检索中的应用，并发现BERT模型在大规模语料库中并不遵循给定的检索启发式规则，但在性能上仍然优于传统的查询似然检索模型。

    Jan, 2022

  • CNN-Trans-Enc：静态BERT表示之上的CNN增强Transformer编码器用于文档分类

    提出一种使用Convolutional Neural Networks生成QKV特征映射的CNN-Enhanced Transformer-Encoder模型，该模型在不fine-tuning BERT的情况下利用所有层的$[CLS]$表示进行训练，从而提高不同语言特征的泛化表示，并在多个数据集上得到比当前最先进的结果更好的结果。

    Sep, 2022