Jan, 2022

音译是否有助于多语言语言建模？

PDF
TL;DR本文研究了在多语言语言模型中应用转写对性能的影响，并在 IndicGLUE 基准测试集上评估了两个 ALBERT 模型，结果显示转写使得低资源语言的性能得到了提升，且基于转写的模型具有更高和更稳定的交叉语言表示相似度分数。
multilingual language modelstransliterationalbert modelsindo-aryan language familycross-lingual representation similarity
发现论文，激发创造
  • TransliCo: 解决多语种预训练语言模型中的脚本障碍的对比学习框架

    通过 TransliCo 框架中的 Transliteration Contrastive Modeling (TCM) 对 mPLM 进行精调，通过对其训练数据中的句子及其在统一脚本 (Latn) 中的音译进行对比，确保了不同脚本的统一表示空间，解决了多语言预训练语言模型在跨语言知识学习中面临的脚本障碍，并表现出更好的性能。

    Jan, 2024

  • 探究多语种机器翻译中的词汇共享在印度语言中的应用

    本文研究了多语言机器翻译中的词汇共享和转写等策略对翻译性能的影响，并探讨了数据采样和词汇大小之间的平衡。研究发现，转写并不能显著提高翻译性能，而原始脚本训练的多语言机器翻译模型对于不同脚本的语言具有较强的泛化能力。

    May, 2023

  • TransMI: 创建多语言预训练语言模型的强基线框架，用于音译数据

    该论文提出了一个简单而有效的框架 TransMI，通过利用多语言预训练语言模型（mPLMs）及其伴随的标记器，将数据转写成共同脚本，从而创建一个强大的基准，有效处理转写数据，提高 3% 至 34% 的性能。

    May, 2024

  • 用基于音译的后训练对齐打破多语言预训练语言模型的脚本障碍

    使用基于音译的预训练后对齐（PPA）方法，改善使用不同文字脚本的相互关联低资源目标语言与高资源源语言之间的跨语言对齐，进而在跨语言转移任务中，提高模型性能达到 50% 的改进；同时使用非英语语言作为源语言转移，可获得更大的改进。

    Jun, 2024

  • 利用语言相关性进行低网络资源语言模型适应：印度语言研究

    本文针对印度语言中不足文本资源的问题，提出了一种称为 RelateLM 的利用相关语言作为中间媒介的方法，通过音译和数据增强等技术，将限制资源语言文本转化到具备足够语料的相关语言中间站，从而提高多语言模型的适用性。

    Jun, 2021

  • MATra：一种印度文字跨语言注意力音译系统

    本文展示了一种基于 transformer 网络结构并在其基础上做出改进的多语言模型，可用于跨越英语、印地语、孟加拉语、卡纳达语和泰米尔语的任意一对语言之间进行 Transliteration，同时在精度方面显著优于所有现有模型，在 Top-1 精度得分方面高达 80.7％，比最好的结果提高了 29.5％，并在语音准确性方面达到了 93.5％。

    Aug, 2022

  • 相关语言间的跨语言转移：将低资源马耳他语视为多语言代码交换

    使用词源学的条件转译对马耳他语进行预处理可以提高多语言语言模型的跨语言迁移能力，在四个下游任务中表现最佳。

    Jan, 2024

  • 基于转写的多语言大规模语言模型适应

    本文研究了利用大量转写大幅提高多语种预训练语言模型在少资源语言中的性能，并且发现使用 UROMAN 基于的转写方法可以在许多语言中提供强大的性能，特别是在对未见到的语言脚本和数据量有限的情况下。

    Apr, 2023

  • RomanSetu: 大型语言模型通过罗马化高效解锁多语言能力

    本研究通过使用罗马化文本作为 LLMs 的界面来解决将大型语言模型扩展到非英语语言（尤其是使用非拉丁文字的语言）的挑战，并通过印地语到英语翻译和情感分析任务展示了罗马化文本的潜力，既提高了推理效率，又在有限的预训练情况下取得了竞争性的性能，同时将罗马化文本与原生文本结合的多脚本提示方法也显示出了提高任务性能的潜力。这些发现表明罗马化在弥合 LLM 应用中的语言障碍方面具有潜力，未来的工作将致力于将这种方法扩展到更多的语言和任务。

    Jan, 2024

  • 音译内容的语言检测

    在当代数字时代中，互联网作为一个无与伦比的催化剂，打破了地理和语言壁垒，尤其在短信交流中表现得格外明显。本研究通过使用 BERT 进行语言分类和 Google Translate API 进行转写转换，从 Hindi 和 Russian 语言的手机短信数据集中解决了对转写文本的语言识别挑战，突破数字通信的多样化语言环境。通过广泛的转写动态探索、创新方法和 BERT 等前沿技术，我们的研究处于解决数字通信语言环境中独特挑战的前沿位置。此工作除了在语言识别和转写能力方面有所贡献外，还为内容审核、分析和促进全球互联的有意义对话社区提供了希望。

    Jan, 2024