Apr, 2022

跨语言短语检索

PDF
TL;DR本文提出了一种从无标注例句中提取短语表示以实现跨语言短语检索的方法 XPR，并创建了一个包含 65K 双语短语对和 4.2M 例句的大规模跨语言短语检索数据集。实验结果表明，XPR 表现优于利用词级或句级表示的基线。XPR 还显示了令人印象深刻的零 - shot 迁移性，使模型能够在训练期间执行未见过的语言对的检索。
cross-lingual retrievalphrase representationsxprdatasetexample sentences
发现论文，激发创造
  • 跨语境上下文短语检索

    通过利用短语提供的细粒度信息，我们提出了密集检索的新任务形式，即跨语言上下文短语检索，通过使用上下文信息解决多义词问题，实验结果展示了我们方法的有效性。

    Mar, 2024

  • XAMPLER：跨语言背景中检索示例的学习

    通过仅使用英语注释数据，我们介绍了一种名为 XAMPLER 的跨语言示例检索方法，用于解决跨语言上下文学习的挑战，并在 176 种语言的大规模多语言文本分类基准测试中展示了其显著改进的跨语言上下文学习性能。

    May, 2024

  • 通过深层双语表示重新排名来改善低资源跨语言文档检索

    本文提出了一种使用深度双语查询 - 文档表示来提高低资源跨语言文档检索性能的方法，并通过包括查询似然得分等额外特征，有效学习使用少量相关性标签为低资源语言对重新排序检索到的文档的模型。实验结果表明，本模型在 MATERIAL 数据集上优于竞争的基于翻译的对英斯瓦希里语、英语 - 塔加洛语和英语 - 索马里语跨语言信息检索任务的基线模型。

    Jun, 2019

  • 跨语言关系抽取的 Prompt 学习

    本研究提出了一种基于 Prompt-Tuning 的 XRE 算法，使用多语言 Pre-trained 语言模型，通过硬性提示、软性提示、混合提示等多个提示模板来改进 XRE 的效果，实验表明我们的算法在多语言环境下有显著的效果并且在新数据集上也表现优秀，代码和数据集已开放。

    Apr, 2023

  • 迭代自监督训练的跨语言检索

    本研究中，我们发现对自己的编码器输出进行挖掘，可以进一步提高多语言预训练语言模型的跨语言对齐能力；利用这一发现，我们提出了一种新方法 -- 交叉语言检索用于迭代自监督训练 (CRISS)，并取得了 9 种语言方向的最新无监督机器翻译结果以及 16 种语言的 Tatoeba 句子检索任务的最高准确率的平均提升为 21.5%，同时相对于 mBART，CRISS 在监督机器翻译下游任务上平均提高了 1.8 BLEU。

    Jun, 2020

  • 用跨语言检索方法提升跨语言事实核查

    为了解决低资源语言事实核查数据集的缺乏问题，我们提出了一种跨语言检索的事实核查框架，该框架利用我们提出的自监督算法，使用翻译的文章标题来创建训练实例，并在多种语言下实现证据的汇集。在 X-Fact 数据集上，我们的方法在零 - shot 跨语言设置下，在绝对 F1 上获得了 2.23% 的改进。

    Sep, 2022

  • 跨语言信息检索的简洁有效神经排序和重排序基线

    该研究旨在提供一种用于跨语言检索模型的组织框架，并在 TREC 2022 NeuCLIR 中的三种语言测试集上实现基于此的可重复现的基准线。

    Apr, 2023

  • XRICL：面向跨语言文本到 SQL 语义解析的跨语言检索增强上下文学习

    本研究提出了 XRICL 框架，用于通过英语方案将非英语话语翻译成 SQL 查询，并构建了两个新的基准数据集，该模型在全球范围内的 XSpider 和 XKaggle-dbqa 问题上表现出优异的效果。

    Oct, 2022

  • 多语言文本编码器在跨语言检索中的应用

    通过系统实证分析，我们发现预训练的最新型多语言编码器并不能显著超越早期基于跨语言单词嵌入的模型在无监督文档级和句子级交叉语言信息检索方面的性能，但在经过监督学习优化的条件下，可在句子检索中取得最高准确率，并通过局部相关性匹配和对特定领域对比微调等方法最大程度提升排名质量，还揭示了基于单语数据训练的检索模型会出现 “单语过度拟合” 的现象，这与针对特定目标语言的单语信息检索的交叉语言转移存在显著差异。

    Dec, 2021

  • XOR QA：跨语言开放检索问答

    通过使用跨语言开放检索问题回答，扩展多语言问答任务，解决信息匮乏和信息不对称问题。在 TyDi QA 上构建了一个大规模数据集，并建立了三个跨语言文档检索任务的基线。利用机器翻译系统和跨语言预训练模型，在实验中得出 XOR QA 是一个具有挑战性的任务，将促进多语言问答技术的开发。

    Oct, 2020