Sep, 2023

语言资源水平对文本数字处理的语境化

PDF
TL;DR通过对语言资源进行清晰的了解，并针对每个类别提供特征和特征的动机，本文开发了一个将语言划分为非常低资源语言、低资源语言、中资源语言、高资源语言和非常高资源语言的矩阵。通过对非洲语言进行语境化和增加对项目中所使用的语言所处范围的理解，可以提供助力于改善研究和实施项目规划等方面的帮助。因此，本文在低资源语言的背景下，论文认为在项目中将语言资源的特征划分为给定的规模是不可或缺的组成部分。
natural language processingresource-scarce languagesafrican languageslanguage resourcescharacterization
发现论文，激发创造
  • 在开发濒危语言技术时优先考虑社区需求，而非个人偏好

    讨论研究者和原住民语音社区成员在开发语言技术以支持濒危语言文档和振兴时所面临的独特技术、文化、实用和伦理挑战，并对未来学术研究者和语言社区利益相关者之间的合作提出建议。

    Apr, 2022

  • 日耳曼语系低资源语言和方言语料库调查

    这篇论文对德国 ic 低资源语言变体的可用语料库进行了系统性调查，发现手工注释的语言资源稀缺，大多数仅涵盖形态和句法，但活跃的研究社区正在不断发展。作者还特意分享了超过 80 个语料库的大概率浏览与查看。

    Apr, 2023

  • Letz Translate: 用于卢森堡语的低资源机器翻译

    本文介绍了一种使用知识蒸馏技术以及基于高资源语言的资源有效模型实现低资源语言机器翻译的方法。在以卢森堡语为例子的实验中，资源有效模型相比于大型 NLLB 模型速度提高了 30％以上且性能仅下降了 4％。

    Mar, 2023

  • 低资源语言：现有工作回顾与未来挑战

    本文回顾了 NLP 领域中解决低资源语言问题的先前重要进展，并分析了未来研究方向中的潜在改进。

    Jun, 2020

  • 结合预训练的高资源嵌入和子词表示用于低资源语言

    研究了利用字根丰富的语言和预训练字向量相结合的方法，来提高低资源非洲语言的自然语言处理精度并在 Xhosa - 英语翻译任务中取得了最佳表现。

    Mar, 2020

  • 比较 LLM 提示与跨语言转移性能对土著和低资源巴西语言的影响

    大型语言模型在低资源语言上的自然语言处理任务上表现较差，并提供了错误分析和实例解释。

    Apr, 2024

  • 非资源语言机器翻译的参与式研究：非洲语言案例研究

    本文探讨了如何利用参与性研究，将机器翻译 (MT) 技术应用于非洲语言，以解决 NLP 在地理分布上欠缺多样性并实现 NLP 的规模化问题。我们提出了一种可行性高并可扩展的情境下的参与式研究方案，其使非专业人员也能对 MT 技术的开发做出独特的科学贡献，并制定了适用于 30 多种语言的 MT 基准。

    Oct, 2020

  • 走向更有意义的低资源语言资源

    介绍了关于开发与使用低资源语种有意义资源的立场，并分析了两个多语种资源的内容、质量以及注重使用该语种的用户开发这些资源的伦理问题，并提出了资源开发的指导方针。

    Feb, 2022

  • 处理低资源语言任务的成本性能优化：使用商业 LLMs

    降低大型语言模型在低资源语言的处理成本，同时确保预测和生成性能不受损失，通过考虑代码混合、翻译和音译等方式来减少 LLM 处理的标记数量，并通过广泛研究 15 种印度语言的 IndicXTREME 数据集来证明最佳交互策略可以将成本降低 90%，并且与原始低资源语言的交互相比性能更好或可比。

    Mar, 2024

  • 词汇资源和自然语言处理之间的相互作用

    这篇研究论文探讨在人工智能 / 自然语言处理系统中将语言学知识、世界知识和常识知识融合起来，这是一个重要的研究领域，并提出了从构建和丰富词汇资源的过程中使用自然语言处理方法，以及从词汇资源中提取有益信息来改善 NLP 应用的方法。该教程可为语言资源的工作者以及研究 NLP 应用的人员提供帮助。

    Jul, 2018