ACLMay, 2023

双语社区中基础语言规范化对不充分资源语言的非常规书写的影响

PDF
TL;DR本文研究在社交媒体上，通过使用建模技术，对不同语言，特别是那些主要使用波斯 - 阿拉伯语脚本书写的语言的脚本归一化的问题进行了处理，而这有助于提高机器翻译和语言识别等下游任务的性能。
发现论文，激发创造
  • 波斯 - 阿拉伯文的书写规范化

    本文讨论了波斯 - 阿拉伯文字在自然语言处理方面的挑战，强调了正规化对于脚本变异的重要性，并对 8 种语言的机器翻译和统计语言建模任务的性能进行了评估。结果表明，大多数条件下应用正规化可以显着提高性能，并指出了在语言资源匮乏的情况下，更好地理解和呈现区域正字传统内波斯 - 阿拉伯脚本变化对于现代计算机自然语言处理技术的进一步发展至关重要

    Oct, 2022

  • 将序列对序列模型用于社交媒体文本规范化

    介绍了一个基于混合词 - 字符注意力编码 - 解码模型的社交媒体文本标准化系统，以预处理噪音文本并适应社交媒体上的 NLP 应用。

    Apr, 2019

  • 自动方言文本规范化中的方言识别技术的应用

    阐述了方言阿拉伯语在社交媒体平台上的使用扩展以及由此带来的挑战，提出了 CODAfication 任务的解决方案，并通过使用方言识别信息来改善性能，在多个阿拉伯方言上进行了测试和预训练模型的评估。

    Jul, 2024

  • 濒危语言的文本规范化：以利古里亚语为例

    本文提出一种有效的 Ligurian 文本标准化方法，利用基于变压器的模型实现了较低的错误率，并在公共数据集上公开发布了 Ligurian 语言的首个单语语料库。

    Jun, 2022

  • 语言相似性和书写形式对阿尔及利亚多层次方言语料库的相互作用

    本篇研究探讨了跨语言相似度与不同文本之间的相互作用，针对两个监督学习任务，即词性标注和情感分析，使用新标注的阿尔及利亚用户生成评论语料库和多语言模型进行研究，并发现语言的相似度和文本差异之间存在微妙的关系。

    May, 2021

  • UNKs 无处不在：将多语言语言模型适应新的字符集

    本文介绍了一种基于矩阵分解和词汇重叠的方法，能够快速适应预先训练的多语言模型以适应资源匮乏的语言和未知脚本，并且在这些语言中能够获得显著的性能提升。

    Dec, 2020

  • MANorm: 使用拉丁文字写成的摩洛哥阿拉伯方言的规范化字典

    本研究利用基于 YouTube 评论语料库的词嵌入模型及提供了标准规范形式的摩洛哥阿拉伯语词典 MANorm，实现了摩洛哥阿拉伯语方言的规范化，证明其有效性。

    Jun, 2022

  • 多语言视觉问答的课程脚本蒸馏

    本文介绍了使用源语言和目标语言的翻译来课程式微调预训练模型，以用于跨语言的视觉问答任务。实验结果表明，脚本在这些模型的性能中起着重要作用。具有相同脚本的目标语言比其他语言表现更好，混合脚本的代码交换语言比其对应的语言表现更好。

    Jan, 2023

  • 跨语言脚本转化与对齐：用于混合编码数据的情感检测

    本研究提出了一种跨语言脚本知识共享架构，利用交叉关注和语言脚本的对齐来生成更好的文本表示，实验证明了该方法的有效性，并通过模型可解释性技术解释了语言特定表示之间的知识共享。

    Feb, 2024

  • 自动规范混合语言社交媒体文本中的单词变体

    本文研究了如何通过利用词的上下文特性和分布式表征来处理混合代码数据中单词的不同变体，并表明这种预处理方式可以提高最先进的词性标注和情感分析任务的性能。

    Apr, 2018