EMNLPAug, 2021

基于 BERT 的段落检索和排名中处理打字错误的方法

PDF
TL;DR本文探讨了针对关键字错别字造成的关键字不匹配所产生的影响，针对这一问题，我们提出了简单而有效的错别字感知培训框架，实验证明该框架可以显著提高 DR 和 BERT Re-ranker 的有效性。
passage retrievaldeep language modelkeyword mismatchtypos-aware trainingms marco dataset
发现论文，激发创造
  • 使用 CharacterBERT 和自学习技术提高密集检索器对带有拼写错误查询的健壮性

    本文研究了密集型检索器在处理拼写错误查询时的问题，并提出了使用 CharacterBERT 作为骨干编码器和自我教学（ST）方法的密集型检索器，这样可以在具有拼写错误的查询上实现更高的效果。在此基础上，文章还提供了一个包含真实查询和相关性评估数据集，并在 https://github.com/facebookresearch/DPR 上公开了代码和实验结果。

    Apr, 2022

  • BERT 的文章重新排序

    本文介绍了一个基于查询的段落重排的 BERT 的简单重新实现，该系统在 TREC-CAR 数据集上处于技术先进地位，是 MS MARCO 段落检索任务排行榜中的前列，优于以前的技术领先 27%（相对于 MRR @ 10）。

    Jan, 2019

  • 密集检索中鲁棒性表示学习

    提出了一种新方法来解决处理拼写错误查询的问题，并在两个基准数据集和两个基础编码器中取得了比现有方法更好的性能。

    Jun, 2023

  • 对 BERT 在段落重新排序中的成功与失败的调查

    通过对 MS MARCO 段落重新排序数据集的实证研究，分析 fine-tuned BERT 模型的结果，探讨 BERT 在检索方面成功和失败的潜在原因及其性能中 成功的细节

    May, 2019

  • 对密集通道检索器的后门攻击以传播虚假信息

    通过语法错误在密集文段检索中引发危险的后门攻击，通过我们的方法，当用户查询无误时，我们的模型始终可靠地检索准确的信息，同时有效地过滤掉误导性信息。然而，当查询存在语法错误时，我们的系统显著提高了获取目标内容的成功率。

    Feb, 2024

  • 稠密通道检索器的复制研究

    本研究对 Karpukhin 等人于 2020 年提出的基于稠密编码的全域问答模型（DPR）进行了复制研究，其中发现原作者低估了 BM25 基准检索的有效性。我们通过改进的答案跨度评分技术，使用与原论文相同的模型获得更好的端到端问题答案准确性。

    Apr, 2021

  • 口语问答中语音识别误差对文本检索的影响

    研究了语音接口与问答系统交互过程中的问题，使用数据增强技术来探究自然语音识别噪音对信息检索的影响。结果表明，自然语音识别噪音会对信息检索产生负面影响，提出使用数据增强来解决这个问题。

    Sep, 2022

  • 学习检索：如何有效高效地训练密集检索模型

    信息检索一直是信息检索研究的重点之一。近年来，提出了 Dense Retrieval（DR）技术来缓解诸如词汇不匹配问题等固有缺陷，但是绝大多数现有 DR 模型的培训都依赖于从语料库中抽样负实例来优化成对损失函数，即不公平的样本，因此提出了 Learning To Retrieve（LTRe）培训技术， 它通过预先构建文档索引，并在每个培训迭代中在没有负样本采样的情况下执行全检索，从而在整个语料库中检索相关文档，实验表明，LTRe 在有效性方面明显优于所有有竞争力的稀疏和密集基线。它甚至在合理的延迟限制下比 BM25-BERT 级联系统表现更好。

    Oct, 2020

  • 生物医学问答中的前 K 个相关片段检索

    我们在临床领域中通过对现有 DPR 框架的改进，从可靠的 Pubmed 文章中检索答案，使其在 BioASQ QA 数据集上的评估结果为 0.81 的 F1 得分。

    Aug, 2023

  • 基于嵌入的零样本检索通过查询生成

    本文通过采用两塔架构来建立神经检索模型，并提出了一种新的用于检索的合成数据生成方法，显著优于基于词汇匹配算法的 BM25，并在 5 个测试数据集中平均提高 Recall@1 指标 2.45 个点。

    Sep, 2020