Jun, 2020

RepBERT: 一阶段检索的上下文化文本嵌入

PDF
TL;DR使用 RepBERT 来进行文档和查询的表示，通过上下文嵌入的固定长度实现，使用嵌入的内积作为相关性分数，在 MS MARCO Passage Ranking 任务中，RepBERT 在所有初始检索技术中实现了最新的结果。
repbertfixed-length contextualized embeddingsms marco passage rankingrelevance scoresinitial retrieval techniques
发现论文，激发创造
  • 基于伪相关反馈的多重表示密集检索

    本研究探讨了基于伪相关反馈的多重嵌入密集检索方法的潜力。通过从第一遍密集检索中确定的伪相关文件集中提取代表性反馈嵌入，然后将其添加到查询表示中，证明了这些附加反馈嵌入不仅能够提高重新排序的有效性，还能提高附加密集检索操作的效率。

    Jun, 2021

  • 利用检索启发式方法进行 BERT 的诊断

    本文通过引入公理化数据集分析技术，研究了 BERT 模型在信息检索中的应用，并发现 BERT 模型在大规模语料库中并不遵循给定的检索启发式规则，但在性能上仍然优于传统的查询似然检索模型。

    Jan, 2022

  • BERT-QE: 基于上下文的查询扩展用于文档重新排名

    本论文提供了一种使用 BERT 模型选择相关文档块进行扩展的新型查询扩展模型，能够在标准 TREC Robust04 测试集上显著优于 BERT-Large 模型，有助于解决查询扩展方法引入不相关信息的问题。

    Sep, 2020

  • CEDR：上下文嵌入在文档排序中的应用

    该研究旨在探究如何利用预训练的上下文化语言模型（ELMo 和 BERT）进行即席文档排名，并提出了一种联合方法，称为 CEDR（用于文档排名的上下文化嵌入），证明它优于现有的排名基线。

    Apr, 2019

  • BERT 的通用文本表示：一项实证研究

    该论文系统地研究了面向通用文本表示的分层 BERT 激活，以了解其捕获的语言信息以及它们在不同任务之间的可转移性。在下游和探测任务中，句子级别的嵌入与两个最先进的模型进行了比较，而段落级别的嵌入则在四个问答（QA）数据集上进行了学习排名问题设置的评估。结果表明，将预训练的 BERT 模型微调于自然语言推断数据上可以显著提高嵌入的质量。

    Oct, 2019

  • ColBERT: 通过 BERT 的上下文化后交互实现高效有效的段落搜索

    ColBERT 是一种基于深度语言模型的信息检索方法，通过实现一种廉价而又强大的互动机制，将查询和文档分别进行编码，然后为它们建立细粒度相似性，从而利用深度语言模型的表现力，同时加快查询处理。

    Apr, 2020

  • DC-BERT: 为高效上下文编码分离问题与文档

    本文提出一种名为 DC-BERT 的上下文解码框架，实现了问题回答过程中高效的文档检索，并在 SQuAD Open 和 Natural Questions Open 数据集上取得了比现有技术方法更快和准确度稍低（QA 表现保持 98%）的结果。

    Feb, 2020

  • 从自然出现的商业对话中提取相似问题

    我们使用经过适当调整的表示方法和少量示例来对商业用户感兴趣的问题进行分组，并制作可用于数据探索或员工培训的可视化。

    Jun, 2022

  • BERT 的文章重新排序

    本文介绍了一个基于查询的段落重排的 BERT 的简单重新实现，该系统在 TREC-CAR 数据集上处于技术先进地位，是 MS MARCO 段落检索任务排行榜中的前列，优于以前的技术领先 27%（相对于 MRR @ 10）。

    Jan, 2019

  • 上下文神经语言建模在信息检索中的应用

    本文探讨了利用上下文语境中的神经语言模型 BERT，可以提供更深入的文本信息理解，以增强预先训练的 BERT 模型以及相关的搜索任务。

    May, 2019