Jul, 2024

不完全的句法是否影响韩语语言模型？以词序和格标为重点

HTML
PDF
TL;DR研究证明，语法元素对于自然语言处理至关重要，因为它们提高了语言模型的性能并为人们理解学习机制提供了线索。本研究探讨了韩语语言模型是否能准确捕捉其灵活性，并通过构建Syntactically Incomplete Korean（SIKO）数据集验证了这一点。研究结果表明，这些模型能够准确处理韩语中的不完整输入，而通过使用SIKO进行微调，则能够提高处理常见的不完整韩语句法形式的能力。此数据集的简易构建过程以及显著的性能改进使其成为一种有效的数据增强技术。
发现论文，激发创造
  • 韩语形态分析和词性标注的丰富字符级信息

    本研究提出了一种基于多阶段行动的模型，可对韩语进行形态学转换和词性标注，使用双向长短时记忆网络模型对Sejong韩国语语料库实现了词和句子级别的标记精度，达到了无先验语言知识的同类模型的最新 交状态。

    Jun, 2018

  • KR-BERT：小规模韩语特定语言模型

    本论文旨在训练适用于韩语的小型语言模型KR-BERT，通过采用较小的词汇表和数据集、优化令牌化方法，提高了韩语语言现象的捕捉效率，实现了与大型语言模型相媲美甚至更优的性能。

    Aug, 2020

  • KoreALBERT：针对韩语语言理解的轻量级BERT模型预训练

    该研究开发并预训练了KoreALBERT模型，实现了针对韩语理解的单语言ALBERT模型，采用新的训练目标-WOP，与现有的MLM和SOP方法结合，尽管参数较少，但预训练的KoreALBERT在6项不同的NLU任务中表现优异，并提升了韩语多句子编码相关的下游任务表现。

    Jan, 2021

  • 另一种针对韩语的通用依存关系格式

    本研究提出了基于单词形态的韩语句法分析方案，并将其应用于通用依存结构。我们开发了自动转换脚本，证明了该方案与韩语单词嵌入的高效性，并通过统计和神经模型证明了该方案的有效性。

    Sep, 2022

  • 朝向标准化韩语语法错误修正：数据集和标注

    本研究收集了Kor-Lang8、Kor-Native和Kor-Learner三个数据集，并使用新提出的Korean Automatic Grammatical error Annotation System (KAGAS)工具进行注释以覆盖更多语言错误类型，同时提供基于数据集调整的基线模型，并在各类错误类型上显著优于公共统计GEC系统(Hanspell)，展示了数据集的多样性和实用性。

    Oct, 2022

  • K-UniMorph：韩国通用形态学及其特征模式

    我们为韩语提出了一份新的通用形态学数据集，名为K-UniMorph，涉及韩语的形态学范例，包括动词结束的语法标准、提取屈折形式的方法和生成形态结构的过程，同时采用了来自Sylak-Glassman（2015年）和Sylak-Glassman（2016年）的形态特征模式。

    May, 2023

  • Polyglot-Ko技术报告：开源大规模韩语语言模型

    Polyglot 韩文模型是为了解决多语言语言模型中的非英语语言表现差距而开发的，一个特定重点是韩文的模型

    Jun, 2023

  • HAE-RAE Bench：韩国知识在语言模型中的评估

    通过在HAE-RAE评估中发现，相较于全面的通用模型GPT-3.5，大规模的语言特定模型(LLSMs)在语言特定知识检索方面展现出类似的性能水平，强调了使用同质化语料库来训练专业级语言特定模型的重要性，但较小的LLMs在生成结构化回答时表现出令人困惑的性能下降。

    Sep, 2023

  • 语言模型是否捕捉隐含的话语意义？对韩语形态学的穷尽义务暗示进行的调查

    韩语中的不同对象标记具有语义特征和与语义特征正交的话语特征，我们评估大规模语言模型是否能够将话语意义与韩语中的不同对象标记相关联，结果表明语法标记的话语意义比话语标记更具挑战性。

    May, 2024

  • RedWhale：通过高效持续预训练的改进韩语大语言模型

    本研究解决了针对低资源语言（如韩语）大语言模型的训练挑战，特别是由于独特的非字母令牌结构和高内存需求导致的限制。提出的RedWhale模型采用高效的持续预训练方法，显著提高了韩语自然语言处理的准确性和效率，实验结果显示其在韩国NLP基准测试中优于其他模型，标志着韩语语言处理能力的显著提升。

    Aug, 2024