Apr, 2023

L3Cube-IndicSBERT：使用多语言 BERT 学习跨语言句子表示的简单方法

PDF
TL;DR该论文提出了一种用于转换 vanilla multilingual BERT 模型成多语言句子 BERT 模型的简单有效方法，该方法使用合成语料库聚合并细调 vanilla multilingual BERT 模型的翻译 NLI 或 STS 数据集，展示了多语言 BERT 模型的跨语言学习能力，该方法在 10 种主要的印度语言以及德语和法语这些非印欧语系的语言上均取得了很好的效果，进而实现了首个针对印度语言 Hindi、Marathi、Kannada、Telugu、Malayalam、Tamil、Gujarati、Odia、Bengali 和 Punjabi 的多语言句子表示模型。
multilingual sbertfine-tuningcross-lingual learnersindic languagessentence representation model
发现论文，激发创造
  • L3Cube-MahaSBERT 和 HindSBERT：用于印地语和马拉地语的句子 BERT 模型和评估 BERT 句子表示的基准

    本文介绍了使用合成的 NLI 和 STS 数据集，针对印地语和马拉地语这两种低资源语言，使用 NLI 预训练和 STSb 微调策略训练生成的高性能 Sentence-BERT 模型，并在下游文本分类和相似性任务中进行了评估。同时，提出了基于不同模型的句子嵌入的比较分析，并释放了 L3Cube-MahaSBERT 和 HindSBERT。

    Nov, 2022

  • L3Cube-HindBERT 和 DevBERT：针对基于天城文的印地语和马拉提语的预训练 BERT Transformer 模型

    通过 Hindi BERT 和 Devanagari BERT 模型，我们实现了 Hindi 和 Marathi 文本分类和实体识别任务的重大改进，并在其基础上为其他 Indic 语言发布了单语 BERT 模型。

    Nov, 2022

  • 语言无关的 BERT 句子嵌入

    本研究旨在通过探究多种单语和跨语言表示学习方法，如掩码语言建模，翻译语言建模和双编码器翻译排名等，结合预训练的多语言模型来学习多语言句子嵌入，并成功将其用于多语言文本检索和机器翻译任务中。

    Jul, 2020

  • L3Cube-MahaCorpus 和 MahaBERT：马拉提语单语语料库、马拉提 BERT 语言模型和资源

    该研究介绍了 L3Cube-MahaCorpus，这是一个从不同互联网来源抓取的马拉提语单语数据集，它包含 24.8M 句子和 289M 个记号。该研究基于这个数据集训练了多个模型，如 MahaBERT、MahaAlBERT、MahaRoBerta 和 MahaFT 等，并且展示了它们在下游任务中的有效性。这项工作是为了为马拉提语的开放资源建立一步。

    Feb, 2022

  • L3Cube-IndicNews：印度语言的基于新闻的短文本和长文档分类数据集

    本研究介绍了 L3Cube-IndicNews，一个以新闻标题和文章为重点的多语种文本分类语料库，针对印度区域语言提供高质量的数据集。我们的工作集中在 10 种重要的 Indic 语言上，包括印地语、孟加拉语、马拉地语、泰卢固语、泰米尔语、古吉拉特语、卡纳达语、奥迪亚语、马拉雅拉姆语和旁遮普语。每个新闻数据集都包括 10 个或更多的新闻类别。L3Cube-IndicNews 提供了 3 个不同的数据集，针对不同的文档长度进行分类，分别是：包含新闻标题和新闻类别的 Short Headlines Classification (SHC) 数据集，包含整个新闻文章和新闻类别的 Long Document Classification (LDC) 数据集，以及包含新闻子文章和新闻类别的 Long Paragraph Classification (LPC) 数据集。我们在所有 3 个数据集上采用一致的标签，进行了深度基于长度的分析。我们使用 4 种不同的模型，包括单语 BERT、多语言 Indic 句子 BERT (IndicSBERT) 和 IndicBERT，对每个 Indic 语言数据集进行了评估。本研究在扩大可用的文本分类数据集方面做出了重要贡献，也为开发面向印度区域语言的主题分类模型提供了可能。由于各语言之间标签的高度重叠，这也是进行跨语言分析的极好资源。数据集和模型已公开共享于此 https URL。

    Jan, 2024

  • 用于零样本跨语言传递和更多应用的大规模多语句向量化技术

    该研究介绍了一种以单个 BiLSTM 编码器为基础的多语言句子表示架构，其使用共享的 BPE 词汇表来学习 93 种语言的嵌入表示，并在公开可用的平行语料库上进行了训练。使用英文注释数据进行分类器训练，可将其转移至任何一种语言，且可以在跨语言自然语言推理、文档分类和平行语料库挖掘中取得良好效果。

    Dec, 2018

  • L3Cube-HingCorpus 和 HingBERT：一种混合编码印地语 - 英语数据集和 BERT 语言模型

    该研究提供了一个用于在社交媒体平台上进行 Hindi-English 混合语言的研究数据和预训练模型，并证明这些模型在情感分析、词性标注、命名实体识别等任务中的有效性。

    Apr, 2022

  • L3Cube-MahaNews：马拉地语基于新闻的短文本和长文档分类数据集

    我们介绍了 L3Cube-MahaNews，这是一个关注新闻标题和文章的最大的监督式马拉地语文本分类语料库，包含超过 1.05L 条记录，分为 12 个不同类别的多样性范围。我们提供了使用最先进的预训练 BERT 模型在这些数据集上的详细统计数据和基线结果。在各个数据集上，单一语言的 MahaBERT 模型的性能都优于其他模型。这些资源也可用作马拉地语主题分类数据集或模型，并可在此 https URL 中公开获取。

    Apr, 2024

  • 多语言 BERT 的跨语言能力：实证研究

    通过在不同语言和不同自定义 NLP 任务上的实验研究，本文详细研究了 M-BERT 中不同组建在其跨语言能力中的贡献，发现词汇重叠在跨语言成功中起到微不足道的作用，而网络深度则是成功的一个重要因素。

    Dec, 2019

  • Beto, Bentz, Becas：BERT 的跨语言效果之惊人

    该研究探讨了 mBERT 作为零 - shot 语言转移模型在跨语言任务上的运用，包括 NLI、文档分类、NER、POS 标注和依赖分析等五个任务。研究发现，mBERT 在每个任务上都具有竞争力，并考察了其使用策略、语言无关特征和影响跨语言传输的因素。

    Apr, 2019