Jul, 2018

通用词语分割：实现与解释

PDF
TL;DR本篇论文介绍了一种序列标注框架，并将其应用于具有不同书写系统和类型特征的多种语言的单词分割，结果表明，单词分割的准确性与单词边界标记正相关并与非分割术语数量负相关。在此基础上，设计了一套小的语言特定设置，并基于 Universal Dependencies 数据集进行广泛评估，结果表明该模型在所有 UD 语言上获得了最先进的精度，在中文、日语、阿拉伯语和希伯来语等难以划分的语言上表现显著优于以前的工作。
发现论文，激发创造
  • 使用关注力的无监督语音词语切分

    这篇研究是对注意力词分割的首次尝试，通过从语音信号中直接进行词分割，最终目标是在低资源的口头语言中自动识别词汇单位。该方法假定在 UL 语言中的记录与资源充足的语言中的翻译相配对。使用声学单元发现（AUD）将语音转换为伪音段序列，然后使用神经机器翻译模型产生的神经软对齐来分割语音。该研究使用班图语 Mboshi 作为实际的 UL，并与单语和双语基线进行比较，说明了注意力词分割在语言记录方面的潜力。

    Jun, 2018

  • 阿拉伯语言相关分词的挑战：机器翻译和词性标注的应用

    本研究探讨用数据驱动的子字单元、字符和卷积神经网络（CNN）学习的单词嵌入来替代传统的形态学分割，实现阿拉伯语自然语言处理（NLP）中的词分割。实验表明，这些方法在机器翻译和词性标注任务中，可以达到接近或超过最先进性能。同时，研究揭示神经机器翻译系统对源和目标令牌的比值敏感，接近 1 或更大的比值有最佳性能。

    Sep, 2017

  • 用语言指导进行任意粒度的通用分割

    实现任意语义级别的通用分割模型 UniLSeg，通过语言指导实现各种任务和设置的优秀性能。

    Dec, 2023

  • 通往普适语义标注的道路

    本研究提出了通用语义标注的任务，为广泛覆盖的多语言文本提供了更好的语义分析，使用具有语言中立性和信息丰富的标签对词汇进行标注，为跨语言语义分析提供了支持。语义标注在平行意义银行中的应用支持这些论点，并促进形式词汇语义学和跨语言投影，这个研究在一份小的语料库上注释了它的语义标注，并提出了通用性语义标注的新的基线结果。

    Sep, 2017

  • 利用分段神经语言模型学习发现、建立和使用单词

    提出了一种分段神经语言模型，它将神经网络的概括能力与发现在未分段的字符序列中存在的类似单词的单元的能力相结合。在视觉上下文的作用下，此模型不仅可以发现单词的含义，还可以学习单词如何组成句子，并提高其预测准确性。

    Nov, 2018

  • 利用子词信息学习词表示的系统研究

    本研究通过对五种语言的三个任务进行大量实验研究，发现在利用子词级别信息进行词表示学习时，不同语言和任务下，分词和组成函数等关键组件的最优配置各异。同时，我们还发现，一些无监督分词方法，如 BPE 和 Morfessor 等，有时能够和甚至超过一些基于监督分词方法的配置。

    Apr, 2019

  • 双向神经语言模型下的无监督分词

    本文介绍一种基于上下文敏感的无监督词分割模型，使用双向神经语言模型和两种解码算法来增强长期和短期的相关性，该模型在不同的数据集上实现了最新技术水平的中文和泰文词分割结果。

    Mar, 2021

  • 文本分割作为监督学习任务

    本研究利用维基百科文章，将文本分割任务作为有监督学习问题进行探究，提出了一个基于这个数据集的文本分割模型，并展示了其在未见过的自然文本上的泛化能力。

    Mar, 2018

  • 高字内复杂度的神经词元分割

    提出了一种结合了上下文化词元表示和字符级解码的神经分割模型，对于具有高令牌内部复杂性和极度形态歧义的希伯来语和阿拉伯语等语言，其分割准确性得到了显着提高，并对下游 NLP 任务的表现进行优化。

    Mar, 2022

  • 文本理解中有效的子词分割

    通过利用子词增强嵌入式框架，本文介绍了一种学习和合成计算产生的子词级别表示的新方法，经过在英文和汉语测试基准上的各种文本理解任务中的实验测试，发现子词增强嵌入式显着改善了我们在各种文本理解任务上的基线。

    Nov, 2018