我们提出了 TyDi QA—— 一个问答数据集，涵盖 11 种语言，并进行数据质量的量化分析和例级定性语言分析，以提供有关多语言建模的有挑战性和值得信赖的评估。

Mar, 2020

本文介绍了 mDIA，这是第一个跨越低至高资源语言的大规模多语言对话生成基准。通过微调 mT5 和 DialoGPT 两种预训练模型，作者对 46 种语言中的真实对话进行了基线测试，结果表明 mT5 模型在 sacreBLEU 和 BertScore 方面表现更好，但在多样性方面表现较差。尽管在少量训练和零样本情况下表现出有希望的结果，但英语和其他语言之间的生成质量仍存在较大差距。作者希望发布 mDIA 可以促进更多有关生成多语言对话的研究，以促进语言多样性。

Aug, 2022

本研究介绍了 UMR，一种无需配对数据训练的无监督多语言密集检索器，通过利用多语言语言模型的序列似然估计能力来获取密集检索器训练的伪标签，提出了一个两阶段框架，逐步改善多语言密集检索器的性能，实验证明 UMR 优于有监督基线模型，提升了多语言检索器在实际应用中的可行性。

Mar, 2024

本研究对 Karpukhin 等人于 2020 年提出的基于稠密编码的全域问答模型（DPR）进行了复制研究，其中发现原作者低估了 BM25 基准检索的有效性。我们通过改进的答案跨度评分技术，使用与原论文相同的模型获得更好的端到端问题答案准确性。

Apr, 2021

该研究介绍了 mMARCO，使用机器翻译创建的包含 13 种语言的 MS MARCO 段落排名数据集的多语言版本，并评估了针对该数据集的多语言重新排名模型和稠密检索模型的效果。研究者们还在零 - shot 场景下使用 mMARCO 数据集微调了模型，在 Mr.TyDi 数据集上展示了多语言模型相对于仅使用英文原版的模型的更高效性。这个研究也表明，翻译质量的提高与检索效果相关，为提高多语版信息检索的效果提供了理论支持。

Aug, 2021

我们提出了一个综合的评估框架 - 波兰信息检索基准 (PIRB)，其中包括 41 个用于波兰语的文本信息检索任务。该基准涵盖了现有数据集和 10 个涉及医学、法律、商业、物理学和语言学等多样主题的未公开数据集。我们对 20 多个密集和稀疏检索模型进行了广泛评估，包括我们训练的基准模型以及其他现有的波兰语和多语言方法。最后，我们介绍了一个由知识蒸馏、有监督微调和使用轻量级重新评分模型构建的稀疏 - 密集混合检索器的三步训练过程，以提高语言特定的检索器的效果。为了验证我们的方法，我们为波兰语训练了新的文本编码器，并将其结果与先前评估的方法进行了比较。我们的密集模型优于迄今为止最好的解决方案，而混合方法的使用进一步提高了它们的性能。

Feb, 2024

提出了一种新方法来解决处理拼写错误查询的问题，并在两个基准数据集和两个基础编码器中取得了比现有方法更好的性能。

Jun, 2023

本文提出了 KD-SPD 方法，透過 soft prompt decoding 處理多種語言之雜亂和不平衡性，運用知識蒸餾戰略，將 teacher model 訓練出的檢索知識轉移到多語言文檔編碼器上，實驗顯示在三個多語言檢索數據集中表現優於主流的競爭算法，具有更少的語言偏見和更好的零樣本轉移能力。

May, 2023

本文介绍了 Robust04 信息检索基准测试的多语言版本 mRobust04，并使用 Google Translate 翻译了 8 种语言。在此数据集上提供了三个不同的多语言检索器的结果，并提供数据集的链接。

Sep, 2022

本研究旨在探讨如何在不同语言中使用基于转换器的双编码器设计实现单语检索，包括使用多语言变压器的交叉语言一般化能力，在多场景下使用最佳实践指南解决单语检索问题，从而为构建低资源语言的搜索应用提供指南和基础。

Apr, 2022