Sep, 2022

多语言信息检索的神经网络方法

PDF
TL;DR本研究探讨了采用神经网络翻译和预训练多语言神经语言模型是否能提升多语言信息检索 (MLIR) 技术。结果表明，使用预训练的 XLM-R 多语言语言模型以其母语进行索引，可以在索引时间大大缩短的情况下取得与神经翻译相结合的最佳效果。
multilingual information retrievalneural document translationpretrained multilingual neural language modelsxlm-rms marco passages
发现论文，激发创造
  • 跨语言信息检索的简洁有效神经排序和重排序基线

    该研究旨在提供一种用于跨语言检索模型的组织框架，并在 TREC 2022 NeuCLIR 中的三种语言测试集上实现基于此的可重复现的基准线。

    Apr, 2023

  • 多语言信息检索的蒸馏

    使用 Translate-Distill 框架进行跨语言信息检索 (CLIR) 已经显示出其通过翻译和塑造训练跨语言神经双重编码器模型的好处。然而，Translate-Distill 仅支持单一语言。本研究扩展 Translate-Distill 并提出了用于多语言信息检索 (MLIR) 的多语言 Translate-Distill (MTD) 方法。我们通过 nDCG@20 指标和 MAP 指标在性能上展示了使用 MTD 培训的 ColBERT-X 模型优于以前的最先进训练方法 Multilingual Translate-Train，其在 nDCG@20 上提高了 5% 到 25%，在 MAP 上提高了 15% 到 45%。我们还展示了该模型对于训练批次中语言混合方式的鲁棒性。我们的实现可在 GitHub 上找到。

    May, 2024

  • BERT 下的跨语言信息检索

    使用 BERT 模型在多语言语料中训练跨语言信息检索模型，实验结果显示该模型在英语查询与立陶宛语文档的信息检索任务中优于其他竞争模型

    Apr, 2020

  • 多语言文本编码器在跨语言检索中的应用

    通过系统实证分析，我们发现预训练的最新型多语言编码器并不能显著超越早期基于跨语言单词嵌入的模型在无监督文档级和句子级交叉语言信息检索方面的性能，但在经过监督学习优化的条件下，可在句子检索中取得最高准确率，并通过局部相关性匹配和对特定领域对比微调等方法最大程度提升排名质量，还揭示了基于单语数据训练的检索模型会出现 “单语过度拟合” 的现象，这与针对特定目标语言的单语信息检索的交叉语言转移存在显著差异。

    Dec, 2021

  • 建立跨语言密集检索模型的迁移学习方法

    本文介绍了 ColBERT-X，这是一个使用 XLM-RoBERTa 编码器的多重表示稠密检索模型，用于支持跨语言信息检索（CLIR）。在几种语言的自适应文件排名任务上表现出了在传统词汇 CLIR 基线之上的显着和统计上的显着改进。

    Jan, 2022

  • 单语数据的无监督跨语言信息检索

    提出一个针对跨语言信息检索的全面无监督框架，通过基于单语语料库构建共享的跨语言词嵌入空间，利用来自对抗神经网络的迭代过程实现无需双语数据的检索，实验验证了该方法的有效性，并通过无监督集成 CLIR 模型提升性能。

    May, 2018

  • 使用综合数据工程技术提升多语言信息检索模型性能

    该论文介绍了如何通过数据工程技术来优化以多语言为基础的 transformer 模型以提高信息检索效率，该解决方案在 MIRACL 挑战赛中取得了显著成绩。

    Feb, 2023

  • 大规模语言模型的零射击跨语言再排序用于低资源语言

    研究表明，大型语言模型在各种文档重新排序任务中展现了令人印象深刻的零样本能力。本研究探讨了大型语言模型在非洲语言的跨语言信息检索系统中的重新排序效果，研究结果显示，跨语言重新排序的效果可能与语言模型的多语言能力相关，且在英语中重新排序仍然最为有效。

    Dec, 2023

  • 通过人工混合数据训练来提升零样本跨语言检索

    本研究探讨了如何将零 - shot 模型从高资源语言（一般是英语）迁移到其他语言，结果表明在不同语言的查询和文档中使用零 - shot 排名算法的有效性会降低。因此，我们提出利用双语词典生成人工混合语言的数据来训练排名模型，我们对从跨语言词嵌入和平行维基百科页面标题引导的词典进行了实验，最终在多语言、跨语言和单语言信息检索方面进行了评估。结果表明，使用代码切换可以在跨语言和多语言检索中带来一致且实质性的收益。

    May, 2023

  • 跨语言 IR 的神经匹配模型研究

    通过研究交互式神经匹配模型，结合多语言词向量，为跨语言信息检索建立端到端系统提供了途径。

    May, 2020