Sep, 2023

韩语中的词分割粒度

PDF
TL;DR这篇论文研究了韩语语言处理中的词分割粒度，通过将韩语从以空格分隔的词（eojeol）转化为一系列的语素，我们发现韩语存在多种可能的词分割粒度。对于特定的语言处理和语料库标注任务，已经提出和使用了几种不同的粒度级别，因为包括韩语在内的凝聚语言在功能语素和句法类别之间有一对一的映射关系。因此，我们对这些不同的粒度级别进行了分析，给出了韩语语言处理系统的实例以供参考。有趣的是，仅将功能语素（如格标记和动词词尾）分开，并保留其他后缀用于词态派生，将会得到短语结构分析的最佳性能，这与过去韩语语言处理的最佳实践相矛盾，过去的最佳实践被视为分离所有语素的默认标准，适用于各种应用场景。
word segmentationgranularitykorean language processingmorphemesagglutinative languages
发现论文，激发创造
  • 韩语形态分析和词性标注的丰富字符级信息

    本研究提出了一种基于多阶段行动的模型，可对韩语进行形态学转换和词性标注，使用双向长短时记忆网络模型对 Sejong 韩国语语料库实现了词和句子级别的标记精度，达到了无先验语言知识的同类模型的最新 交状态。

    Jun, 2018

  • 基于语言特征的韩语命名实体识别

    本文利用特殊语言特征提高韩语命名实体识别，使用 CoNLL-U 格式提出韩语语料库标注方案，实现命名实体标记在分词中减少歧义，并探讨以词素为基础的标记方案的可行性和性能。

    May, 2023

  • 通过语言学信息的次词单位分词和次字符分解来提升韩文 NLP 任务

    我们介绍了一种考虑词素的子词切分方法，利用字符的分解方法来解决字节对编码（BPE）在韩语中应用所面临的挑战，韩语的特点是丰富的语态和独特的书写系统。我们的方法在预训练语言模型（PLMs）中平衡了语言准确性和计算效率。我们的评估结果显示，该技术在整体上表现良好，显著提高了 NIKL-CoLA 句法任务的结果。这表明融合词素类型信息可以增强语言模型的句法和语义能力，表示采用更多的语言洞察力可以进一步提高性能，超越标准的形态分析。

    Nov, 2023

  • 神经机器翻译上的聚合语言词形分割

    本研究提出了一种基于形态学的单词分割方法，能够在训练时缩小词汇表的同时保留词结构中的语言和语义信息，以协助神经机器翻译，实验结果表明此方法能显著提高土耳其 - 英语和维吾尔 - 中文机器翻译任务的性能，降低数据稀疏性和语言复杂性。

    Jan, 2020

  • 基于音节的韩语单词嵌入技术

    通过卷积神经网络（CNN）构建模型，使用音节数组来代替单个字符，成功的实现了韩语词汇的形态学表征，比传统的 Skip-gram 模型表现更优，且具备良好的鲁棒性。

    Aug, 2017

  • 韩语自然语言处理各任务的分词策略实证研究

    测试出，对于韩国自然语言处理任务，采用基于词形的分词再使用 BPE 的混合方法效果最佳。

    Oct, 2020

  • K-UniMorph：韩国通用形态学及其特征模式

    我们为韩语提出了一份新的通用形态学数据集，名为 K-UniMorph，涉及韩语的形态学范例，包括动词结束的语法标准、提取屈折形式的方法和生成形态结构的过程，同时采用了来自 Sylak-Glassman（2015 年）和 Sylak-Glassman（2016 年）的形态特征模式。

    May, 2023

  • 无监督发现词素

    本研究提出了两种方法来对单词进行无监督分词，特别适用于富有形态学的语言，如芬兰语。第一种方法基于 MDL 原则并且可以在线进行。在第二种方法中使用了最大似然 (ML) 优化。比较所得到的分割和现有的形态分析，证明这些方法在芬兰语和英语语料库上表现良好，相对于现有的一流系统而言。

    May, 2002

  • 韩语语言处理的次字符架构

    本文提出一种新颖的子字符架构，利用韩语的独特组合结构将每个字符分解为一小组基本音韵单元，称为 “jamo 字母”，从而诱导字符和单词级别的表征。 jamo 字母透露出难以通过传统的字符级单元访问的句法和语义信息。它们显著缓解了数据稀疏性问题，在实验中减少了观察空间的原始空间的 1.6％，并在依赖解析中取得了显着的优化效果。

    Jul, 2017

  • 子词切分对非拼接形态转换的适用性如何？

    本论文研究基于数据驱动的子词分割在自然语言处理等领域的应用是否适用于非连接语素构词方式，通过一套测试套件对分割策略在不同形态学现象上的表现进行比较，并发现学习分析和生成表面的形态上下文仍然具有挑战性且应针对多种语言应用测试新的文本表征策略，以减少不同策略对某些语言造成的不利影响。

    Sep, 2021