Oct, 2020

预训练变形金刚模型用于文本排名：BERT及其它

HTML
PDF
TL;DR本文主要阐述了如何将transformers和self-supervised pretraining技术应用于文本排名问题，组成了两个高级别的现代技术，即在多阶段架构中进行reranking的transformer模型和直接进行排名的密集检索技术，并对处理长文档和处理效率和效果之间的平衡这两个主题进行了分析，同时也展望了研究的未来方向。
发现论文，激发创造
  • BERT排名行为解析

    本文研究了预先训练的BERT在排名任务中的表现和行为，探索了在两种排名任务中优化BERT的几种不同方法，并实验证明了BERT在问题回答焦点的段落排名任务中的强有效性，以及BERT作为强交互式序列到序列匹配模型的事实。

    Apr, 2019

  • 对BERT在段落重新排序中的成功与失败的调查

    通过对MS MARCO段落重新排序数据集的实证研究，分析fine-tuned BERT模型的结果，探讨BERT在检索方面成功和失败的潜在原因及其性能中 成功的细节

    May, 2019

  • BERT的多阶段文档排名

    利用BERT模型，在多阶段排名结构中将文档排序问题分别转化为点和对分类的两个变量来解决，这是一种终端到终端的用于搜索的系统设计，可以通过控制每个管道阶段的候选人数量来权衡质量和延迟，并在MS MARCO和TREC CAR数据集上提供了与现有技术相当或更好的结果。

    Oct, 2019

  • 使用预训练的序列到序列模型进行文档排名

    通过对预训练序列到序列模型进行新的调整，使其能够用于文档排名任务，相比较于BERT等仅采用编码器预训练变压器架构的基于分类的排名方法，我们的方法在实验中展现出了更好的性能，并发现我们的方法在数据较少的情况下更能胜任。

    Mar, 2020

  • 预训练变形金刚在文本排名中的差异性如何？

    本研究分析了基于BERT的交叉编码器与传统BM25排名在段落检索任务中的效果，发现它们在相关性概念上存在重要的差异，旨在鼓励未来改进研究。

    Apr, 2022

  • 复杂NLP在文本排名中的作用

    研究发现，通过改变输入的顺序和位置信息，掩码语言模型的性能并不会受到影响；相比于句法方面，跨句子关注和更丰富的嵌入捕捉上下文的词义是BERT的优势所在。

    Jul, 2022

  • RankT5：使用排序损失对T5进行文本排序微调

    本文提出RankT5，通过两种基于T5的排名模型结构来直接输出每个查询文档对的排名分数，并通过'成对'或'列表'排列损失进行微调以优化排名表现。实验表明，利用排名损失的所提出的模型可以在不同的公共文本排名数据集上取得实质性的排名表现提高，并且当与分类损失精细调整后，模型在域外数据集上出现更好的零售排名表现。

    Oct, 2022

  • 利用BERT进行信息检索：调查、应用、资源和挑战

    近年来，深度学习在解决各种自然语言处理问题上得到了大量应用。本文回顾了以BERT为代表的预训练模型在信息检索领域的方法，涵盖了长文档处理、语义信息整合、平衡效果与效率、术语权重预测、查询扩展和文档扩展等六个高级类别，并与基于解码器的生成式大型语言模型进行了比较，结果表明在特定任务上，经过调优的BERT编码器仍然具有更好的性能和更低的部署成本。最后，总结了调查的全面结果，并提出了未来研究的方向。

    Feb, 2024

  • TransformerRanker：有效寻找最适合下游分类任务的语言模型的工具

    本研究解决了在众多预训练语言模型中，如何选择最佳模型以适应特定下游分类任务的难题。提出了TransformerRanker，一个轻量级库，通过高效排名来评估语言模型的适应性，避免了代价高昂的微调过程。实验结果表明，该方法在模型排名上达到了最先进的水平，具有显著的应用价值。

    Sep, 2024

  • 将大型语言模型蒸馏为BERT以用于网络搜索排名的最佳实践

    本研究解决了大型语言模型（LLMs）在商业搜索系统中因高成本而无法直接应用的问题。通过将LLMs的排名知识转移到更小的模型BERT上，采用持续预训练和排名损失的创新方法，研究提出了一种有效的模型训练策略。该方法已在商业网页搜索引擎中成功应用，展现出显著的效能提升。

    Nov, 2024