Apr, 2023

最佳多语言文件嵌入是否只是基于句子嵌入？

HTML
PDF
TL;DR本研究系统地比较了使用LASER、LaBSE和Sentence BERT预训练的多语言模型从句子中生成文档级表示的方法，证明了对于多语言任务来说，通常使用句子嵌入的巧妙组合要优于将整个文档编码为单个单元，并且说明了虽然简单的句子平均值对于分类任务来说已经有一定的效果，但对于语义任务来说需要更复杂的组合。
发现论文，激发创造
  • 串联幂平均词嵌入作为通用跨语言句子表示

    该论文利用Power Mean word embeddings的概念将不同类型的平均词向量进行拼接，以提高自然语言处理中的问题解决。研究表明，这一方法在单种语言上比常规模型表现更佳，在跨语言处理上表现也优于更复杂的技术，并在实验中击败了其他基线模型。

    Mar, 2018

  • 用于零样本跨语言传递和更多应用的大规模多语句向量化技术

    该研究介绍了一种以单个BiLSTM编码器为基础的多语言句子表示架构，其使用共享的BPE词汇表来学习93种语言的嵌入表示，并在公开可用的平行语料库上进行了训练。使用英文注释数据进行分类器训练，可将其转移至任何一种语言，且可以在跨语言自然语言推理、文档分类和平行语料库挖掘中取得良好效果。

    Dec, 2018

  • 使用双向双编码器和加性边界 softmax 改进多语言句子嵌入

    本研究提出了一种使用双向双编码器和加性边际softmax学习多语言句子嵌入的方法，能够在联合国(UN)平行语料库检索任务上取得最先进的结果，并使用检索到的语言对训练NMT模型。通过对我们的句子嵌入平均构建的简单文档级别嵌入进行实验，能在UN文档级别检索任务中取得97%以上的P@1。最后，我们在BUCC挖掘任务上评估了所提出的模型，利用原始余弦相似度得分的学习嵌入与当前最先进的模型相比取得了有竞争力的结果，并利用第二阶段的评分器在此任务上实现了新的最先进水平。

    Feb, 2019

  • 层次化文档编码器用于平行语料库挖掘

    本研究利用多语言文本嵌入来对平行数据进行最近邻挖掘，通过三种不同的文本层级表示方法，发现用 HiDE 训练产生的文档嵌入结果表现最佳，达到了 UN 平行文档挖掘的最新成果。

    Jun, 2019

  • 来自平行句子的稳健跨语言嵌入

    提出一种基于双语CBOW方法的联合学习方法，通过利用句子对齐语料库获得强健的跨语言词和句子表示，显著提高了跨语言句子检索性能，并在维持单词翻译方面与最先进的方法并驾齐驱，同时在零-shot跨语言文档分类任务方面达到深度RNN方法的水平，对单语词向量的提高优势明显。

    Dec, 2019

  • 使用知识蒸馏将单语句子嵌入多语言

    本文介绍了一种将现有的句子嵌入模型扩展到新语言的简便有效方法，训练基于将翻译后的句子映射到与原始句子相同的向量空间位置的思想，相较于其他多语言句子嵌入训练方法，具有扩展现有模型以增加新语言的简易性、保证向量空间所需属性的易操作性和较低的硬件要求等优势。代码已公开，可以用于将句子嵌入模型扩展到400多种语言。

    Apr, 2020

  • 基于注意力机制的非监督句级元嵌入来自上下文语言模型

    提出了一种句子级元嵌入学习方法，利用不同的上下文化语言模型，通过无监督的学习方式学习句子嵌入，以满足不同需要的下游自然语言处理任务，实验证明提出的方法优于以往的方法和有监督的基线。

    Apr, 2022

  • 通用多语言文档编码器

    本研究使用维基百科作为训练数据，通过交叉语言对比的目标来训练具有上下文感知的浅层文档转换器，它可以用于监督和非监督文档级任务。该模型在两个常见的跨语言文档级任务中比基于段落的表示和多语言Longformer表现更好，并成功推广到了未见过的语言上。

    May, 2023

  • 从预训练变换模型中提取句子嵌入

    本研究解决了当前句子嵌入提取方法的不充分性，提出了多种改进的表示提取技术，尝试优化BERT的句子表示。研究显示，通过简单的基线方法及其表示塑造技术，能够在语义文本相似性和短文本聚类任务中显著提升性能，甚至超过复杂的BERT模型。

    Aug, 2024

  • 从词向量到多模态嵌入：大型语言模型的技术、应用与未来方向

    本文关注词嵌入和语言模型在自然语言处理中的重要性，探讨了从稀疏表示到密集嵌入的演变，尤其是在跨语言和个性化应用中的进展。作者提出了多模态嵌入的应用，分析了模型压缩与解释性等高级主题，并强调了未来研究方向，包括可扩展训练技术和非文本模式的稳健基础。该研究为推动嵌入基础语言模型的边界提供了深入的资源。

    Nov, 2024