ACLApr, 2024

玛雅语和西班牙方言之间非正式语体机器翻译的精选数据集和神经模型

PDF
TL;DR开发了 MayanV 数据集并提供了神经机器翻译模型，这些模型在许多 Mayan 语言资源上进行了训练，并且在 MayanV 数据集上进行了评估，研究发现了不同方言之间的词汇差异，并且其他资源似乎不能提高翻译性能。
发现论文，激发创造
  • 基于内容本地化的神经机器翻译系统：非正式方言阿拉伯语：西班牙语 / 法语到黎凡特 / 海湾阿拉伯语

    通过利用人工智能的力量，我们提出了一个框架，将高资源语言的内容本土化到低资源的语言 / 方言，以丰富资源不足的阿拉伯方言并加快地跨智能城市之间的多样的在线社交行为研究。同时，我们的实验结果证明了我们提出的解决方案在高低资源语言和方言之间的资源利用能力，以及忽视相同语言内的方言可能导致对在线社交行为的误导分析。

    Dec, 2023

  • 原住民语言翻译平行语料库：西班牙语 - 马薩特克语和西班牙语 - 米克斯特克语

    本研究构建了一个西班牙 - 马薩泰克語和西班牙 - 米斯捷克語的平行语料库，通过在预训练的多语言机器翻译模型上，进行微调 Fine-Tune，实现文本翻译任务，对所构建的数据集进行了评估，结果表明此方法特别适用于低语料资源的情况，对于使用少数语言的翻译，构建平行语料库的重要性得到了强调。

    May, 2023

  • NusaWrites：为代表性和极度资源匮乏的语言构建高质量语料库

    对印尼本土语言进行案例研究的结果表明，原生说话者通过段落撰写所生成的数据集在词汇多样性和文化内容方面优质，有助于推广自然语言处理技术到较少研究的语言领域。

    Sep, 2023

  • Setswana 和 Sepedi 的低资源语言数据集创建、筛选和分类 -- 扩展摘要

    研究了自然语言处理技术在低资源语言中的应用，提出了用于塞茨瓦纳语和塞班语头条新闻的数据集及其用于新闻主题分类的基线模型，并探索了一种适合低资源语言的数据增强方法以提高分类器性能。

    Mar, 2020

  • 地理和背景多样化数据源文献：BigScience 语言数据和资源目录

    本研究介绍了一个大型数据收集项目的方法论，强调了文档记录和以人为中心的方法，通过在线目录和公共黑客马拉松活动进行元数据的收集，以解决大型语言模型数据收集面临的难题，研究结果分析了所得到的资源元数据分布情况，并总结了在此项目中的经验教训。

    Jan, 2022

  • 利用新西班牙语语料库进行多语言和跨语言隐喻检测

    本研究通过使用 MIPVU 方法并创建 CoMeta 数据集，提出了一种进行隐喻检测的具有竞争力的多语种和单语种大型语言模型的方法，同时在英语和西班牙语之间进行了跨语言实验。

    Oct, 2022

  • Taxi1500：1500 种语言文本分类的多语言数据集

    通过并行翻译圣经来开发广泛的主题，并利用众包工具收集标记数据，标注英文端的数据，并通过已对齐的诗句将标签映射到其他语言，从而为 1500 多种语言生成文本分类数据集，并对多个现有的多语言语言模型进行广泛基准测试。

    May, 2023

  • 研究低资源语言数据集的创建、整理和分类方法：塞茨瓦纳语和塞彭迪语

    该研究主要介绍了如何创建用于塞茨瓦纳语和塞班语的新闻标题数据集，并探讨了数据增强等方法来提高分类器性能。

    Feb, 2020

  • 多语言维基百科研究的考虑因素

    本文详细介绍了不同语言版本的维基百科之间存在的差异，并提出了如何使用多语言和多模态数据进行研究和建模的建议。

    Apr, 2022

  • 多语言聊天数据集：Tagengo

    我们提供了一个高质量的数据集，包含 74 种语言中的超过 70k 个提示 - 回应对，用于训练最先进的开源英语语言模型，以实现多语言对话。在 6 种语言的 MT-Bench 对话基准测试中，我们的多语言模型优于先前的开源语言模型。此外，我们发现在更多多语言数据上进行训练有助于比仅仅在特定语言的数据上进行训练（如日语），从而提高性能。这些结果表明，在大量高质量多语言数据的训练下，实现更易用的语言模型变得必要。

    May, 2024