本文研究了预先训练的 BERT 在排名任务中的表现和行为,探索了在两种排名任务中优化 BERT 的几种不同方法,并实验证明了 BERT 在问题回答焦点的段落排名任务中的强有效性,以及 BERT 作为强交互式序列到序列匹配模型的事实。
Apr, 2019
本文介绍了一个基于查询的段落重排的 BERT 的简单重新实现,该系统在 TREC-CAR 数据集上处于技术先进地位,是 MS MARCO 段落检索任务排行榜中的前列,优于以前的技术领先 27%(相对于 MRR @ 10)。
Jan, 2019
本研究分析了基于 BERT 的交叉编码器与传统 BM25 排名在段落检索任务中的效果,发现它们在相关性概念上存在重要的差异,旨在鼓励未来改进研究。
Apr, 2022
该论文提出了一种利用 BERT 表示和 learning-to-rank 模型进行文档排序的机器学习算法。在公共基准测试中,采用这种方法可以取得更好的表现。最新的实验使用 RoBERTa 和 ELECTRA 模型,取得了较之其它方法更好的排名成绩。
Apr, 2020
本文利用 BERT 模型重新排序自动语音识别中的 N 个最优假设,同时融合了任务特定的全局主题信息。实验表明,相较于循环神经网络和利用 BERT 计算伪对数似然分数的方法,本方法在 AMI 基准语料库上的有效性和可行性得到了证实。
Apr, 2021
本文探讨了针对关键字错别字造成的关键字不匹配所产生的影响,针对这一问题,我们提出了简单而有效的错别字感知培训框架,实验证明该框架可以显著提高 DR 和 BERT Re-ranker 的有效性。
Aug, 2021
研究使用 BERT 进行非事实类问题回答,重点关注在不同文本长度下的文本重排任务。通过探索 BERT 在不同的排序方法下进行微调,包括逐点和逐对方法,在现有技术上取得了显着的进展。随后,分析了 BERT 在不同文本长度下的效果,并提出了如何应对大文本数据。
Aug, 2019
使用 RepBERT 来进行文档和查询的表示,通过上下文嵌入的固定长度实现,使用嵌入的内积作为相关性分数,在 MS MARCO Passage Ranking 任务中,RepBERT 在所有初始检索技术中实现了最新的结果。
Jun, 2020
本文提出了对 Duet 深度神经排名模型的若干小修改,并在 MS MARCO 文章排名任务上进行了评估,根据消融研究,我们报告了所提出的改进的显著提升。
Mar, 2019
利用 BERT 模型,在多阶段排名结构中将文档排序问题分别转化为点和对分类的两个变量来解决,这是一种终端到终端的用于搜索的系统设计,可以通过控制每个管道阶段的候选人数量来权衡质量和延迟,并在 MS MARCO 和 TREC CAR 数据集上提供了与现有技术相当或更好的结果。
Oct, 2019