EMNLPNov, 2023

滤波半马尔可夫 CRF

PDF
TL;DR这篇论文介绍了一种新的半马尔可夫条件随机场（Semi-Markov CRF）的变种 —— 过滤式半马尔可夫条件随机场（Filtered Semi-Markov CRF），该方法通过引入过滤步骤来消除无关的片段，降低了复杂性和搜索空间，并在多个实体命名识别基准测试中表现优于传统 CRF 和半马尔可夫条件随机场 (Semi-CRF)，且速度显著更快。我们的方法实现代码已在 Github 上公开。
semi-markov crftext segmentationnamed entity recognitionquadratic complexityfiltered semi-markov crf
发现论文，激发创造
  • 混合半 - Markov CRF 用于神经序列标记

    本文提出基于条件随机场的混合半马尔可夫模型，应用于自然语言处理中的神经序列标注任务，该模型采用词级别和片段级别的信息同时作为特征来提升性能，在 CoNLL 2003 命名实体识别任务中取得了最好的结果。

    May, 2018

  • 基于分段表示的神经分割模型探究

    本文介绍了在自然语言处理领域中，如何通过结合半马尔可夫条件随机场和神经网络来解决分词问题，通过不同的组合函数和分段嵌入方式来训练模型，实验结果表明该模型在中文分词任务中达到了最佳性能，在 CoNLL03 数据集上也取得了有竞争力的结果。

    Apr, 2016

  • 计算上高效的命名实体识别标注器的受限解码

    通过对输出进行限制，可以训练出一个标注器，其与 CRF 相比可以实现两倍的交叉熵损失速度，差异在 F1 方面不具有统计学意义，从而有效消除了对 CRF 的需要。

    Oct, 2020

  • 神经半 - Markov CRF 用于单语词对齐

    提供了一种新的神经半 - Markov CRF 对齐模型，它通过可变长度跨度统一了单词和短语对齐，通过人工注释创建了一个新的基准，显示出在现实设置下评估单语言对齐模型的性能， 并证明了该模型在自动文本简化和句对分类任务中具有良好的普适性和实用性。

    Jun, 2021

  • 神经条件随机场的序列分类

    该研究论文探讨了如何使用基于条件随机场（CRFs）的多传感器融合算法对人类活动监控的大量时间序列进行分类，同时提供了区分不同类型序列的判别模型，实验结果证明了该方法的有效性。

    Feb, 2016

  • 卷积条件随机场用于语义分割

    该论文介绍了如何在全连接 CRFs 中添加条件独立假设，从而利用卷积重构推理，提高了推理和训练的速度，并可以通过反向传播轻松优化卷积 CRFs 的所有参数，以便于后续的 CRF 研究。

    May, 2018

  • 基于掩码条件随机场的序列标注

    本研究提出了一种易于实现的条件随机场变体 MCRF，对 CRF 生成的非法标签序列的问题进行了解决，并在几乎不增加成本的情况下，彻底改善了已有 CRF 模型的性能表现。

    Mar, 2021

  • 基于半马尔可夫条件随机场的神经体节标题生成改进人类文本理解

    本文提出了一种在低资源环境下生成段落标题的技术，采用具有无监督字表示如 ELMo 或 BERT 的半马尔可夫条件随机场的压缩方法，将效果与高资源的序列到序列模型相媲美，而在低资源情况下表现更为出色，对阅读能力较差的人群的正面效果尤为明显。

    Apr, 2019

  • 分层细化标签注意力网络用于序列标注

    提出一种基于层级注意力机制的标签嵌入模型，较传统的 BiLSTM-CRF 有更好的标签序列表示性能，能显著提高词性标注、实体识别和语法标记任务的标注效果并缩短训练和测试时间。

    Aug, 2019

  • 神经隐层条件随机场：一个稳健的弱监督序列标注器

    我们提出了一种称为神经隐藏 CRF 的神经化无向图模型来解决弱监督序列标注问题。在概率无向图理论的框架下，神经隐藏 CRF 嵌入有一个隐藏 CRF 层来建模字序列、潜在真实序列和弱标签序列的变量，从而具有无向图模型特有的全局视角。在神经隐藏 CRF 中，我们可以利用强大的语言模型 BERT 或其他深度模型为潜在真实序列提供丰富的上下文语义知识，并利用隐藏 CRF 层捕捉内部标签依赖关系。神经隐藏 CRF 在概念上简单而强大，在一个众包基准和三个弱监督基准上取得了新的最先进结果，包括在平均泛化和推理性能上分别比最近的先进模型 CHMM 高出 2.80 个 F1 点和 2.23 个 F1 点。

    Sep, 2023