Dec, 2023

JaColBERT 和 Hard Negatives：更好的检索性日语优先嵌入

PDF
TL;DRJaColBERT, a document retrieval model specifically designed for Japanese, outperforms previous monolingual retrieval approaches and competes with multilingual methods, demonstrating great promise in supporting retrieval-enhanced application pipelines.
document retrievalmultilingual modelsjacolbertjapanesedense embeddings
发现论文，激发创造
  • 建立跨语言密集检索模型的迁移学习方法

    本文介绍了 ColBERT-X，这是一个使用 XLM-RoBERTa 编码器的多重表示稠密检索模型，用于支持跨语言信息检索（CLIR）。在几种语言的自适应文件排名任务上表现出了在传统词汇 CLIR 基线之上的显着和统计上的显着改进。

    Jan, 2022

  • ColBERT-XM: 零射多语信息检索的模块化多向量表示模型

    这项研究提出了一种新颖的模块化密集检索模型 ColBERT-XM，它通过学习单个高资源语言的丰富数据，并能够有效地零 - shot 转换到各种语言，从而消除了对特定语言的标记数据的需求。通过展示在零 - shot 场景中的娴熟表现，ColBERT-XM 标志着向更可持续和包容的检索系统的转变，实现了多种语言的有效信息获取。我们公开发布我们的代码和模型供社区使用。

    Feb, 2024

  • 引入 Neural Bag of Whole-Words with ColBERTer: 使用增强的 Reduction 进行上下文化的后期交互

    本文提出了 ColBERTer，这是一个使用上下文化的 ColBERT 模型与增强的减少方法的神经检索模型。它采用了单向量检索、多向量细化和可选词汇匹配组件，其多向量组件通过学习每个文档中的项的唯一整词表示并学习识别和删除对于有效评分来说不必要的词表示，可以将文档的存储向量数量减少 2.5 倍。结果表明，ColBERTer 可以提高检索结果的可解释性，同时保持检索结果的有效性，并且具有多任务学习的特点。

    Mar, 2022

  • 语言无关的 BERT 句子嵌入

    本研究旨在通过探究多种单语和跨语言表示学习方法，如掩码语言建模，翻译语言建模和双编码器翻译排名等，结合预训练的多语言模型来学习多语言句子嵌入，并成功将其用于多语言文本检索和机器翻译任务中。

    Jul, 2020

  • ColBERTv2: 通过轻量的后期交互实现有效和高效的检索

    本研究介绍了 ColBERTv2，结合积极的残差压缩机制和去噪监督策略，以提高对最晚交互的质量和占用空间的同时评估了广泛的基准。

    Dec, 2021

  • 使用双语句子嵌入的有效并行语料库挖掘

    该研究提出了一种有效的并行语料库挖掘方法，使用双语句子嵌入进行训练，通过引入硬负例来实现。该方法是基于语义相似度的，结果表明该方法可以用于重建平行文本，从而训练出 NMT 模型，与使用原始数据训练的模型相差不大。

    Jul, 2018

  • BERT 下的跨语言信息检索

    使用 BERT 模型在多语言语料中训练跨语言信息检索模型，实验结果显示该模型在英语查询与立陶宛语文档的信息检索任务中优于其他竞争模型

    Apr, 2020

  • 通过深层双语表示重新排名来改善低资源跨语言文档检索

    本文提出了一种使用深度双语查询 - 文档表示来提高低资源跨语言文档检索性能的方法，并通过包括查询似然得分等额外特征，有效学习使用少量相关性标签为低资源语言对重新排序检索到的文档的模型。实验结果表明，本模型在 MATERIAL 数据集上优于竞争的基于翻译的对英斯瓦希里语、英语 - 塔加洛语和英语 - 索马里语跨语言信息检索任务的基线模型。

    Jun, 2019

  • 使用双向双编码器和加性边界 softmax 改进多语言句子嵌入

    本研究提出了一种使用双向双编码器和加性边际 softmax 学习多语言句子嵌入的方法，能够在联合国 (UN) 平行语料库检索任务上取得最先进的结果，并使用检索到的语言对训练 NMT 模型。通过对我们的句子嵌入平均构建的简单文档级别嵌入进行实验，能在 UN 文档级别检索任务中取得 97% 以上的 P@1。最后，我们在 BUCC 挖掘任务上评估了所提出的模型，利用原始余弦相似度得分的学习嵌入与当前最先进的模型相比取得了有竞争力的结果，并利用第二阶段的评分器在此任务上实现了新的最先进水平。

    Feb, 2019

  • 训练多语言密集检索模型最佳实践

    本研究旨在探讨如何在不同语言中使用基于转换器的双编码器设计实现单语检索，包括使用多语言变压器的交叉语言一般化能力，在多场景下使用最佳实践指南解决单语检索问题，从而为构建低资源语言的搜索应用提供指南和基础。

    Apr, 2022