Mar, 2021

双向神经语言模型下的无监督分词

PDF
TL;DR本文介绍一种基于上下文敏感的无监督词分割模型，使用双向神经语言模型和两种解码算法来增强长期和短期的相关性，该模型在不同的数据集上实现了最新技术水平的中文和泰文词分割结果。
unsupervised word segmentationbi-directional neural language modelscontext featuresdecoding algorithmschinese and thai language
发现论文，激发创造
  • 基于分段语言建模的汉语无监督神经分词

    本文提出了基于分段的语言模型处理无监督中文分词的方法，并使用上下文编码器和分段解码器设计了神经模型，达到了与最新统计模型相当的性能。

    Oct, 2018

  • 利用分段神经语言模型学习发现、建立和使用单词

    提出了一种分段神经语言模型，它将神经网络的概括能力与发现在未分段的字符序列中存在的类似单词的单元的能力相结合。在视觉上下文的作用下，此模型不仅可以发现单词的含义，还可以学习单词如何组成句子，并提高其预测准确性。

    Nov, 2018

  • 中文神经分词学习

    本文提出了一种新颖的神经网络框架，利用门控组合神经网络和 LSTM 语言评分模型，消除上下文窗口，可以利用完整的分词历史，产生分布式表示，从而实现中文分词，并在基准数据集上进行实验，结果不需要使用现有方法的特征工程，获得了与现有最先进方法相当甚至更好的性能。

    Jun, 2016

  • 中文分词的双向 LSTM 循环神经网络

    本文研究了使用双向长短时记忆循环神经网络进行中文分词的方法，实验结果表明，该方法在传统和简体中文数据集上均取得了最佳的性能。

    Feb, 2016

  • 神经主题分割中上下文建模的改进

    本文提出了一个基于层级注意力双向 LSTM 网络的主题分割器，通过添加相干性相关的辅助任务和受限制自注意力来更好地建模上下文，从而超过了 SOTA 方法，并在领域转移设置中证明了其鲁棒性和在多语言场景中的有效性。

    Oct, 2020

  • 双向语言模型在语义分割中改善长篇语音识别

    通过从语言模型中提炼标点符号知识，并将其应用于分割长篇语音，我们研究出一种优于其他方法的，实现了 3.2% 相对词错误率增益以及 60ms 中位端到端延迟降低的流式自动语音识别管道分割器。

    May, 2023

  • 基于注意力机制的神经文本分割

    本文提出了一种基于注意力机制的双向 LSTM 模型，使用卷积神经网络学习句子嵌入，利用上下文信息预测文本分段，相比现有的竞争基准方法，在三个基准数据集上的 WinDiff 分数提高了约 7%。

    Aug, 2018

  • 双向 LSTM 在中文分词中的最新进展

    在中文分词任务中，与更复杂的神经网络模型相比，双向 LSTM 模型结合标准深度学习技术和最佳实践能够在许多流行数据集上实现更好的精度。此外，错误分析表明，对于神经网络模型而言，词汇外的单词仍然具有挑战性，其余错误不太可能通过架构更改来修复，而是应该更加努力地探索资源以进一步提高精度。

    Aug, 2018

  • 机器翻译的异步和分段双向编码

    该研究通过改进基于 Transformer 的异步分段双向解码策略，以提高翻译效率和准确性。实验结果表明，在处理长句子方面，与传统的单向翻译方法相比，我们的方法表现出更高的效率和改善的翻译质量。此外，研究还分析了句子长度对解码结果的影响，并探讨了模型在不同场景中的性能。这项研究的发现不仅为 NMT 领域提供了一种有效的编码策略，而且为未来的研究开辟了新的途径和方向。

    Feb, 2024

  • 通过分段、注意力和预测未来来提高神经语言模型的性能

    本研究提出了一种基于无监督学习的方法来对齐上下文和下一句子，它可以自动识别短语并生成词组内嵌入，实现了对语言模型进行了有效优化，模型在 Wiketext-103 数据集上达到 17.4 的最佳性能表现。

    Jun, 2019