Aug, 2022

MATra：一种印度文字跨语言注意力音译系统

PDF
TL;DR本文展示了一种基于 transformer 网络结构并在其基础上做出改进的多语言模型，可用于跨越英语、印地语、孟加拉语、卡纳达语和泰米尔语的任意一对语言之间进行 Transliteration，同时在精度方面显著优于所有现有模型，在 Top-1 精度得分方面高达 80.7％，比最好的结果提高了 29.5％，并在语音准确性方面达到了 93.5％。
transliterationindic languagestransformersmultilingual modelaccuracy
发现论文，激发创造
  • 改进印度语系多语言神经机器翻译系统

    本文提出了一个 MNMT 系统，通过各种增强策略改进它的性能，研究了方言、语言脚本等因素在提高低资源语言翻译表现中的作用，并展示了回译和领域适应对提高源语言和目标语言翻译质量的优势。通过这些方法，我们的模型在评价指标（即一组 IL 的 BLEU（双语评估协议）得分）方面比基线模型更高效。

    Sep, 2022

  • 音译内容的语言检测

    在当代数字时代中，互联网作为一个无与伦比的催化剂，打破了地理和语言壁垒，尤其在短信交流中表现得格外明显。本研究通过使用 BERT 进行语言分类和 Google Translate API 进行转写转换，从 Hindi 和 Russian 语言的手机短信数据集中解决了对转写文本的语言识别挑战，突破数字通信的多样化语言环境。通过广泛的转写动态探索、创新方法和 BERT 等前沿技术，我们的研究处于解决数字通信语言环境中独特挑战的前沿位置。此工作除了在语言识别和转写能力方面有所贡献外，还为内容审核、分析和促进全球互联的有意义对话社区提供了希望。

    Jan, 2024

  • 探究多语种机器翻译中的词汇共享在印度语言中的应用

    本文研究了多语言机器翻译中的词汇共享和转写等策略对翻译性能的影响，并探讨了数据采样和词汇大小之间的平衡。研究发现，转写并不能显著提高翻译性能，而原始脚本训练的多语言机器翻译模型对于不同脚本的语言具有较强的泛化能力。

    May, 2023

  • 音译是否有助于多语言语言建模？

    本文研究了在多语言语言模型中应用转写对性能的影响，并在 IndicGLUE 基准测试集上评估了两个 ALBERT 模型，结果显示转写使得低资源语言的性能得到了提升，且基于转写的模型具有更高和更稳定的交叉语言表示相似度分数。

    Jan, 2022

  • 印度语到印度语的多语言神经机器翻译系统

    本文构建了 Indic-to-Indic 机器翻译模型，并且考察了语言相关性、借用相关语言以及不同语系对模型效率的影响，结果发现，使用相关语言对 WI 语系是有益的，而对 EI 语系可能是有害的，对 DR 语系影响不明确，但对 EN-IL 模型是有用的，并且转译还有助于提高模型的性能。

    Jun, 2023

  • IndicTrans2：适用于所有 22 个印度预定语言的高质量可访问机器翻译模型

    该研究旨在通过整合并创建特定于印度的并行语料库和基准测试数据，训练出支持所有 22 种印度语言的机器翻译模型，为印度的语言多样性提供广泛且易于访问的机器翻译系统，该研究创造性地提出了四个关键领域的改进，并发布了 BPCC 和 IndicTrans2 等数据资源和模型。

    May, 2023

  • 使用多语言变压器模型对印度语言进行摘要

    本研究采用 IndicBART 和 mT5 模型，研究它们在印度语言数据集上的摘要性能，结果以 ROUGE-1、ROUGE-2、ROUGE-3 和 ROUGE-4 分数为性能指标。

    Mar, 2023

  • Aksharantar: 为未来十亿用户构建开放的音译工具

    本文介绍了 Aksharantar，它是 21 种印度语言中最大的公开可用的音译数据集，包含 2600 万个音译对。我们使用从大型单语和平行语料库中挖掘音译对，并采集人工注释以确保具有不同单词和低资源语言的多样性。我们在 Aksharantar 训练集上训练了 IndicXlit 模型，它是一种单一的基于 transformer 的多语言音译模型，支持 21 种印度语言。它在 Dakshina 测试集上取得了最先进的结果，并在与此工作一起发布的 Aksharantar 测试集上建立了强大的基线。

    May, 2022

  • PICT@DravidianLangTech-ACL2022：德拉维达语言的神经机器翻译

    本文介绍了关于南印度德拉维达语系机器翻译的研究成果，通过针对五种不同德拉维达语系的机器翻译和使用 Seq2Seq 模型进行训练，我们在其中三项子任务中名列第一，并以 BLEU 分数作为评估指标测试了模型的准确性。

    Apr, 2022

  • 消除印度机器翻译任务流行数据集中的误译方法

    使用最大的公开可访问的印度语言平行数据集 Samanantar 进行实验，在二种印度语言 Hindi 和 Odia 上构建一个基准神经机器翻译系统，并通过消除数据集中的错误翻译来提高翻译质量，进而发现尽管 ILs-English 和 English-ILs 系统使用相同的数据集进行训练，但 ILs-English 在所有评估指标上的表现更好。

    Jan, 2024