Oct, 2022

单词边界对于无监督语言学习是否有用？

PDF
TL;DR本论文系统比较了不同输入单元（字符、音素、词、词部分）对基于物理词或物理词段的语言模型的影响，并使用三个语音调整的黑盒 NLP 心理语言学基准（pWUGGY、pBLIMP、pSIMI）在词汇、句法和语义层面上探测网络中的语言知识。研究发现，边界信息的缺失会在不同的任务中导致 2％到 28％不等的相对性能损失。同时，本论文还表明，自动找到的边界信息可以替代人工标注的边界信息，并且即使在两个任务中表现合理的分词算法也能给三个任务中的两个任务带来性能提升，而不需要边界信息的基本字符 / 音素模型。
language modelslstmslinguistic knowledgespeech inputword segmentation
发现论文，激发创造
  • 编码器语言模型不需要词边界信息

    通过多项实验证明，修改标记器以去除单词边界信息并不会导致有用信息的丧失。

    Jan, 2024

  • 论字符级神经机器翻译中词边界的重要性

    本文提出了一种更高效的字符级神经机器翻译解码方法，使用词和字符级别的分层解码结构，能够优化机器翻译性能并学习更长的上下文和语法依赖。

    Oct, 2019

  • 无监督边界感知语言模型预训练用于中文序列标注

    该论文提出了一种在预训练语言模型中直接编码无监督统计边界信息的体系结构 Boundary-Aware BERT (BABERT)，并将其应用于中文序列标注任务的特征诱导，实验结果表明 BABERT 在十个中文序列标注基准上均可提供一致的改善，同时，该方法可以补充先前监督词典探索的不足，实现与外部词典信息的集成以进一步提高性能。

    Oct, 2022

  • 基于半监督边界感知语言模型预训练的中文序列标注

    通过将监督边界信息用于 BABERT，我们构建了一种半监督的边界感知 PLM，实验结果表明我们改进的 BABERT 在中文序列标注和自然语言理解任务中表现出更好的性能，并且我们提出的度量方法具有方便和准确的评估 PLM 边界感知能力的特点。

    Apr, 2024

  • 可学习分段特征的音素边界检测

    本文探究了使用神经网络和参数化结构化损失函数进行音素边界检测的方法，通过实验表明该方法的性能优于基准模型，使用音素翻译可以稍微提高性能并显著提高收敛速度，并在希伯来语语料库中进行了进一步的评估，表明在多语言环境下使用音素翻译可以获得更好的效果。

    Feb, 2020

  • 自我监督的语音模型对单词的了解程度如何？

    本研究发现，不同的自监督语音模型可以在不同的层次编码语言特征，在中间层最大程度地捕获了词级的信息，同时在较高层保留了发音等低层次信息，并用在无额外参数的情况下测试了这些模型的层次表现，同时发现使用 HuBERT 或 WavLM 的最佳表现层可以实现与更复杂的方法相媲美的词分割和语义句子相似性的表现。

    Jun, 2023

  • 利用子词信息学习词表示的系统研究

    本研究通过对五种语言的三个任务进行大量实验研究，发现在利用子词级别信息进行词表示学习时，不同语言和任务下，分词和组成函数等关键组件的最优配置各异。同时，我们还发现，一些无监督分词方法，如 BPE 和 Morfessor 等，有时能够和甚至超过一些基于监督分词方法的配置。

    Apr, 2019

  • 语音中的词边界挖掘作为自然标注的词分割数据

    本研究提出了一种在跨领域和低资源情况下提高中文分词性能的方法，即从语音中的停顿中挖掘自然标注数据来训练 CWS 模型，并证明该方法能够显著提高 CWS 的性能。

    Oct, 2022

  • 通用词语分割：实现与解释

    本篇论文介绍了一种序列标注框架，并将其应用于具有不同书写系统和类型特征的多种语言的单词分割，结果表明，单词分割的准确性与单词边界标记正相关并与非分割术语数量负相关。在此基础上，设计了一套小的语言特定设置，并基于 Universal Dependencies 数据集进行广泛评估，结果表明该模型在所有 UD 语言上获得了最先进的精度，在中文、日语、阿拉伯语和希伯来语等难以划分的语言上表现显著优于以前的工作。

    Jul, 2018

  • 双向语言模型在语义分割中改善长篇语音识别

    通过从语言模型中提炼标点符号知识，并将其应用于分割长篇语音，我们研究出一种优于其他方法的，实现了 3.2% 相对词错误率增益以及 60ms 中位端到端延迟降低的流式自动语音识别管道分割器。

    May, 2023