Sep, 2023

多语言文本表示

PDF
TL;DR现代自然语言处理的突破包括能够在 100 多种语言中执行任务的大型多语种模型。最先进的语言模型从简单的独热编码词表示开始，能够执行自然语言理解、常识推理或问答等任务，从而捕捉文本的语法和语义。同时，语言模型正在超越我们所知的语言界限，甚至在资源非常有限的濒危语言的方言中获得有竞争力的表现。然而，仍然存在一些问题，需要解决，以确保通过统一的建模空间在语言和说话者之间获得公正的文本表示。在本调研中，我们阐述了多语种文本表示的迭代进展，并讨论了最终导致当前最先进技术的推动因素。随后，我们讨论了如何实现语言民主化的全部潜力，突破所知的限制，并探讨在该领域的改进范围。
nlpmultilingual modelslanguage modelstext representationlanguage democratization
发现论文，激发创造
  • 从传统到最先进的单词表示语言模型：全面调查

    本文综述了自然语言处理中的单词表示模型，介绍了从传统到现代的语言模型，包括各种文本表示方法，并讨论了这些模型在机器学习算法中的应用，以及在不同 NLP 任务中使用这些单词表示的应用。

    Oct, 2020

  • 多语言模型中的语言表示研究

    通过研究多语言模型的语言学表示，我们发现针对低资源语言，以某个语言家族或地理位置为重点且由这些语言使用者构建的社区中心模型在区分同一语言家族的语言方面表现更好，有助于理解多语言模型的问题并提供改进方法。

    Oct, 2023

  • 语言向量实现连续多语言性

    本研究提出使用连续向量表示语言的方法，可以用于多语言自然语言处理，实验结果表明这种方法可以有效捕捉不同语言种类之间的遗传关系。

    Dec, 2016

  • 大型语言模型的国际化综述：最新进展和新的研究方向

    对大型语言模型（LLMs）在多语种环境中的应用进行了综述，包括训练和推理方法、模型安全性、多领域与语言文化、数据集使用，同时讨论了相关方面的主要挑战和潜在解决方案，并提出了进一步增强语言模型的未来研究方向。

    May, 2024

  • 科学文献是多语种的，我们的模型也应如此

    英语一直被认为是科学研究的 $ extit {lingua franca}$，然而，该研究表明文献主要以多种语言出现，因此建议当前的模型和基准应该体现这种语言多样性，以提高在非英语文献上的表现。

    Mar, 2024

  • 翻译是唯一需要吗？关于使用大型语言模型解决多语言任务的研究

    我们提倡更多的努力来开发强大的多语种语言模型，而不仅仅是以英语为中心的语言模型。

    Mar, 2024

  • 多任务和多语言模型用于词法分析

    该论文旨在研究和探索使用任务和语言之间的相关性来构建需要较少手动注释数据的自然语言处理模型，通过研究 60 种语言的多种 NLP 任务，该论文表明了联合多任务和多语言建模的潜力，并暗示从这些模型中可以获得语言学洞见。

    Sep, 2018

  • 面向大规模多语言神经机器翻译的信息性语言表示学习

    本研究提出了两种方法，即语言嵌入体现和语言感知多头注意力，以学习信息量丰富的语言表示，从而缓解在多语言神经机器翻译模型中引导翻译的语言令牌的失效问题，并且在两个大规模多语言神经机器翻译数据集上取得了显著的性能提升。同时，进一步的语言类型学预测实验证明，我们的方法学习到的基于矩阵的语言表示可以捕捉丰富的语言类型学特征。

    Sep, 2022

  • 通过基于词典的适应扩展预训练模型以覆盖数千种更多语言

    本文探究了利用双语词典作为文本资源，从而使得多语言预训练模型的性能不再依赖于单一语种下的文本数据，通过不同策略合成文本或标注数据，并与单语文本或平行文本相结合，以提高在三个任务上 19 种欠发达语言的性能，为千余种使用 NLP 技术的欠代表语种提供了思路。

    Mar, 2022

  • 翻译困境：大型语言模型在非英语内容分析中的应用

    本文介绍了多语种语言模型的工作原理及其在语言分析和生成方面的能力和局限性，并提供了关于开展大型和多语种语言模型研究、开发和部署时的建议。

    Jun, 2023