Jul, 2018

通用词语分割：实现与解释

HTML
PDF
TL;DR本篇论文介绍了一种序列标注框架，并将其应用于具有不同书写系统和类型特征的多种语言的单词分割，结果表明，单词分割的准确性与单词边界标记正相关并与非分割术语数量负相关。在此基础上，设计了一套小的语言特定设置，并基于Universal Dependencies数据集进行广泛评估，结果表明该模型在所有UD语言上获得了最先进的精度，在中文、日语、阿拉伯语和希伯来语等难以划分的语言上表现显著优于以前的工作。
发现论文，激发创造
  • 基于分割的序列建模

    本研究提出了一种基于分割的概率模型来计算序列的概率，并开发了高效的动态规划算法，能够在文本分割和语音识别任务中发现相关分割，并取得了良好的结果。

    Feb, 2017

  • 基于分段语言建模的汉语无监督神经分词

    本文提出了基于分段的语言模型处理无监督中文分词的方法，并使用上下文编码器和分段解码器设计了神经模型，达到了与最新统计模型相当的性能。

    Oct, 2018

  • 双向神经语言模型下的无监督分词

    本文介绍一种基于上下文敏感的无监督词分割模型，使用双向神经语言模型和两种解码算法来增强长期和短期的相关性，该模型在不同的数据集上实现了最新技术水平的中文和泰文词分割结果。

    Mar, 2021

  • 关于使用注意力机制分隔单词的难度

    在语音领域中，基于注意力机制的序列到序列模型被用于解决诸如语音翻译或语音识别等任务中的词语分割问题。但本研究表明，仅依靠注意力机制是不稳健的，只有在训练数据包含话语标注的情况下才具有可用性。

    Sep, 2021

  • 高字内复杂度的神经词元分割

    提出了一种结合了上下文化词元表示和字符级解码的神经分割模型，对于具有高令牌内部复杂性和极度形态歧义的希伯来语和阿拉伯语等语言，其分割准确性得到了显着提高，并对下游NLP任务的表现进行优化。

    Mar, 2022

  • 自我监督多语言无标点符号句子分割

    本文提出了一种多语言无标点自我监督句子分割方法，用未分割文本中的换行符进行分段，利用少量标注的样本即可适应分割不同语料库。作者通过使用该方法与训练MT模型相匹配的句子分割方式，在BLEU分数和MT翻译质量上取得了显著改进。

    May, 2023

  • TAMS：基于翻译的形态分割

    标准词素分析是将单词分析为其组成形态素的标准（即底层）形式的过程。本文提出了一种利用先前经过训练的高资源单语言模型获得的翻译的字符级序列到序列模型来改善标准分词任务的方法，取得了在无资源情况下超越基准的效果，但在训练数据更多的情况下结果不稳定。尽管在高资源环境中使用翻译仍需进一步研究，但我们的模型在资源极度有限的情况下展现出希望。

    Mar, 2024

  • 利用背景信息进行句子级词素切割

    通过将整个句子作为输入，我们将形态素分割任务重新定义为序列到序列问题，结果显示多语种模型在性能上优于单语种模型，尽管没有超过最先进性能，但与高资源语言相比展现出了可比较的效果，同时揭示了在低资源语言情境下的限制。

    Mar, 2024

  • 词汇基础的子词切分

    我们提出了三个在标记化和子词分割中的创新。首先，我们建议使用Morfessor的无监督形态分析作为预标记化。其次，我们提出了一种代数方法来获取基于词嵌入空间的子词嵌入。基于此，我们设计了一种使用嵌入的新型子词分割算法，确保该过程考虑了词汇意义。第三，我们引入了一种基于子词二元模型的高效分割算法，可使用词汇感知分割方法进行初始化，以避免在推理时使用Morfessor和大型嵌入表。我们使用两个内在指标评估了所提出的方法，并在两个下游任务上测试了其性能：词性标注和机器翻译。我们的实验证明，在各语言上，通过在词素边界上评估的分割精度和改进的Rényi效率方面，该分割的形态合理性得到了显著提高。尽管所提出的标记化方法对自动翻译质量影响不大，但我们观察到在词性标注这个更具形态学特征的任务中一直存在性能提升。

    Jun, 2024

  • 任何文本的分段：一种用于鲁棒、高效和适应性句子分割的通用方法

    利用新模型解决分隔文本中缺失标点符号的问题，并实现在不同领域的高效表现，以及在实际情况中文字格式不良的具有普适性的分词方法。

    Jun, 2024