Feb, 2024

利用 BERT 进行信息检索：调查、应用、资源和挑战

PDF
TL;DR近年来，深度学习在解决各种自然语言处理问题上得到了大量应用。本文回顾了以 BERT 为代表的预训练模型在信息检索领域的方法，涵盖了长文档处理、语义信息整合、平衡效果与效率、术语权重预测、查询扩展和文档扩展等六个高级类别，并与基于解码器的生成式大型语言模型进行了比较，结果表明在特定任务上，经过调优的 BERT 编码器仍然具有更好的性能和更低的部署成本。最后，总结了调查的全面结果，并提出了未来研究的方向。
deep learningnatural language processingbertinformation retrievalencoder-based models
发现论文，激发创造
  • 大型语言模型在信息检索中的应用：综述

    信息检索系统和大型语言模型的融合，包括关键方面，如查询重写、检索、重新排序和阅读器，在这一快速发展的研究领域中提供全面的概述和深入的见解。

    Aug, 2023

  • 上下文神经语言建模在信息检索中的应用

    本文探讨了利用上下文语境中的神经语言模型 BERT，可以提供更深入的文本信息理解，以增强预先训练的 BERT 模型以及相关的搜索任务。

    May, 2019

  • BERT 下的跨语言信息检索

    使用 BERT 模型在多语言语料中训练跨语言信息检索模型，实验结果显示该模型在英语查询与立陶宛语文档的信息检索任务中优于其他竞争模型

    Apr, 2020

  • 预训练变形金刚模型用于文本排名：BERT 及其它

    本文主要阐述了如何将 transformers 和 self-supervised pretraining 技术应用于文本排名问题，组成了两个高级别的现代技术，即在多阶段架构中进行 reranking 的 transformer 模型和直接进行排名的密集检索技术，并对处理长文档和处理效率和效果之间的平衡这两个主题进行了分析，同时也展望了研究的未来方向。

    Oct, 2020

  • BERT 与传统机器学习文本分类的比较

    本文通过实验测试，比较机器学习中经典的 TF-IDF 法与 BERT 模型在 NLP 任务中的表现，并为使用 BERT 模型提供了实证支持，结果表明 BERT 模型在 NLP 问题中表现更优秀、更独立。

    May, 2020

  • 使用预训练编码器进行文本摘要

    本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transformer 层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

    Aug, 2019

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 面向实体搜索的实体感知 Transformer

    本篇文章研究使用知识图谱中的实体信息是否有助于基于 BERT 的实体检索模型，结果表明使用实体信息的 BERT 模型在复杂自然语言查询和属性筛选等实体相关查询任务中相比传统 BERT 模型具有更好的推荐效果，并且使用该模型可以在数据不足的情况下进行微调以实现对实体搜索的数据有效训练。

    May, 2022

  • 基于创新的 Bert 重新排序语言模型在语音识别中的应用

    本文利用 BERT 模型重新排序自动语音识别中的 N 个最优假设，同时融合了任务特定的全局主题信息。实验表明，相较于循环神经网络和利用 BERT 计算伪对数似然分数的方法，本方法在 AMI 基准语料库上的有效性和可行性得到了证实。

    Apr, 2021

  • 哪种 BERT？一份梳理上下文编码器的调查

    本文综述了自然语言处理中关于预训练上下文化文本编码器的相关研究，并强调了在解释最近的贡献和选择使用哪种模型时需要考虑的重要因素。

    Oct, 2020