Mar, 2018

自动识别接近的印度语言：资源和实验

PDF
TL;DR本文讨论了一个自动语言识别系统的尝试，该系统用于印度 5 种密切相关的印度雅利安语言：阿瓦德语、博杰普尔语、布拉吉语、印地语和马加耳语。使用不同来源的可比较语料库，编译了这些语言的长度不同的语料库。使用这些语料库，开发了一个语言识别系统，目前的准确率为 96.48％。我们还使用这些语料库研究了 5 种语言在词汇水平上的相似性，这是这些语言亲和度首个基于数据的研究。
发现论文，激发创造
  • 印度低资源语言的带注释语音语料库：Awadhi、Bhojpuri、Braj 和 Magahi

    本文介绍我们正在进行的工作，使用语言学数据收集的领域方法，为四种资源匮乏的印度 - 雅利安语言 —— 阿瓦德语、博杰普尔语、布拉杰语和马加希语开发语音语料库。我们还讨论了这些语言的数据收集方法，大部分是在 COVID-19 疫情期间进行的，目的之一是为讲这些语言的低收入群体提供额外的收入来源，并讨论了这些语言的自动语音识别系统的基线实验结果。

    Jun, 2022

  • 一切英文皆可是印地语：通过自动排名社交媒体上单词借用的可能性来增强语言识别

    本文介绍了一组用于识别借用单词的计算方法，这些方法是基于社交媒体的信号的。通过 Spearman 相关系数值，我们的方法在预测借用可能性方面比文献中报道的最佳基准线表现好两倍以上（近 0.62 比近 0.26）。我们根据这种可能性估计要求标注员重新标注主要为本土语境中的外语词的语言标签。在 88％的情况下，标注员认为应该用本地语言标签替换外语标签，从而表明自动语言识别系统有很大的改进空间。

    Jul, 2017

  • 为印度语言建立一个多语言平行语料收集的努力

    通过基于深度学习的方法使用机器翻译和跨语言检索工具，我们提供了涵盖 10 种印度语言的句子对齐平行语料库，包括低资源语言，此外还提供了独立测试语料库用于验证 10 种印度语言的性能。

    Jul, 2020

  • 基于机器学习的印度口语识别概述

    本文综合评述了印度口语识别领域的研究现状及其面临的独特挑战，探讨了可用的语音语料库、已有的研究成果和未来的研究方向，有助于了解该领域现状和发展趋势。

    Nov, 2022

  • 构建东北印度极低资源语言机器翻译平行语料的首次尝试

    该论文介绍了为印度东北地区的十三种资源非常匮乏的语言创建初始的双语语料库，同时提供了这些语言的初始翻译结果。该论文还创建了这些语言的首个平行语料库，并提供了关于这些语言的基准神经机器翻译结果。我们打算将这些语料库扩展到包括大量资源匮乏的印度语言，并结合我们之前在非洲和美洲印第安语言方面的工作，创建覆盖世界各地大量语言的语料库。

    Dec, 2023

  • Bhasha-Abhijnaanam: 针对 22 种印度语言的本地语和罗马化语言识别

    我们为所有列在印度宪法中的 22 种印度语言创建了用于母语和罗马化文本的公开语言识别（LID）数据集和模型，并为类似的其他语言提供了解决罗马化文本 LID 中缺乏训练数据和低 LID 性能的简单有效的解决方案。

    May, 2023

  • 一种简单的方法用于数据不平衡、紧密相关的语言对的无监督双语词典归纳

    介绍了一种适用于资源匮乏语言的无监督双语词汇表感知方法，该方法仅需要使用高资源语言单语 BERT 进行推理，并在印度次大陆的五种语言中首次发布自动生成的双语词汇表。

    May, 2023

  • 比较达罗毗荼语言识别方法

    本文介绍了团队 HWR 在 VarDial 2021 举办的 Dravidian Language Identification (DLI) 共享任务期间提交的内容，包括使用自适应语言模型的朴素贝叶斯分类器和基于 Transformer 的模型进行的实验，以及在语言识别相关任务中深度学习方法的表现不如其他文本分类任务这一研究发现。

    Mar, 2021

  • 语言相关性在多语言语言模型微调中的作用：印度雅利安语的案例研究

    本文探讨利用多语言微调技术在 NLP 模型中利用同一语系的相关性对性能的影响，结果表明在微调预训练的多语言模型时，与单独微调每一语言相比，多语言微调可以在下游 NLP 应用程序中获得更好的性能。 印欧 - 雅利安语系（IA）被选为研究对象，实验结果表明精细选择一组相关语言的性能比使用所有相关语言显着提高。

    Sep, 2021

  • 利用语言相关性进行低网络资源语言模型适应：印度语言研究

    本文针对印度语言中不足文本资源的问题，提出了一种称为 RelateLM 的利用相关语言作为中间媒介的方法，通过音译和数据增强等技术，将限制资源语言文本转化到具备足够语料的相关语言中间站，从而提高多语言模型的适用性。

    Jun, 2021