通过系统实证分析，我们发现预训练的最新型多语言编码器并不能显著超越早期基于跨语言单词嵌入的模型在无监督文档级和句子级交叉语言信息检索方面的性能，但在经过监督学习优化的条件下，可在句子检索中取得最高准确率，并通过局部相关性匹配和对特定领域对比微调等方法最大程度提升排名质量，还揭示了基于单语数据训练的检索模型会出现 “单语过度拟合” 的现象，这与针对特定目标语言的单语信息检索的交叉语言转移存在显著差异。

Dec, 2021

本研究旨在探讨如何在不同语言中使用基于转换器的双编码器设计实现单语检索，包括使用多语言变压器的交叉语言一般化能力，在多场景下使用最佳实践指南解决单语检索问题，从而为构建低资源语言的搜索应用提供指南和基础。

Apr, 2022

本文提出了一种基于转换器的方法，用于对搜索查询进行代码混合翻译，以使用户能够使用这些查询进行搜索，并通过预训练的编码器 - 解码器模型的有效性来证明该方法。此外，为了减少模型的延迟，我们使用了知识蒸馏和权重量化。经过实验评估和 A/B 测试，证明了所提出方法的有效性。现在该模型已应用于 Flipkart 应用程序和网站，处理数百万查询。

Aug, 2022

我们研究了不同水平的机器翻译质量对检索结果的影响；通过比较多种语言对的查询翻译，我们提出了投资和改进最有前途的语言对的策略。

Jan, 2023

本文介绍了两种基于 Transformer 和 CNN 模型架构的预训练多语言句子编码模型，并使用基于翻译的桥接任务学习绑定表示将 16 种语言的文本嵌入到单一的语义空间中，以提高检索效率，与最先进的语义检索、翻译检索和检索问题回答模型相竞争，并在某些情况下超越了英文单语句子嵌入模型的表现水平。

Jul, 2019

探索了一种使用双编码器学习跨语言句子表示的自然环境，以克服多语言神经语言建模中标记化非英语数据的缺乏，并在许多单语、跨语言、零样本 / 少样本学习任务上对跨语言表示进行了全面评估，并分析了不同的跨语言嵌入空间。

Oct, 2018

本文提出了一种使用深度双语查询 - 文档表示来提高低资源跨语言文档检索性能的方法，并通过包括查询似然得分等额外特征，有效学习使用少量相关性标签为低资源语言对重新排序检索到的文档的模型。实验结果表明，本模型在 MATERIAL 数据集上优于竞争的基于翻译的对英斯瓦希里语、英语 - 塔加洛语和英语 - 索马里语跨语言信息检索任务的基线模型。

Jun, 2019

本研究针对基于检索的开放领域问答系统，探究多语言环境下文献信息不一致的问题，分析多语言开放领域问答模型的检索偏差，探讨文化差异和信息不一致性对模型的影响。

May, 2022

本文中，我们提出了一个简单的基线方法，使用不对称架构来提高 Dual Encoder 检索器的效率。我们发现即使使用只有两层的 BERT-based 查询编码器，通过无监督的蒸馏和适当的学生初始化，仍然可以在 BEIR 基准测试中保持 92.5％的 DE 性能。我们希望我们的研究可以鼓励社区重新评估方法复杂性和性能提升之间的权衡。

Jun, 2023

大型语言模型，特别是多语言模型，设计、声明和预期为各种语言的母语用户提供服务。本文研究了这些模型的微调和评估方法可能与此意图不符的问题，提出了翻译可能引入翻译异常和缺陷的观点，并探讨了指令数据的性质是否对模型输出产生影响以及翻译的测试集能否捕捉到这种细微差别。实验结果表明，使用原生或生成式基准数据时，原生或翻译的指令数据对模型输出存在显著差异，尤其在模型性能较高时，而其他类型的测试集则无法显示这种差异。最后，我们证明正则化对于填补结构化任务中的差距是有益的，但对生成式任务则不是。

Jun, 2024