EMNLPDec, 2020

序列标注中的不确定性感知标签精炼

PDF
TL;DR引入了一种新的两阶段标签解码框架来建模长期标签依赖关系，并使用双流自注意力模型和贝叶斯神经网络来加快推断过程并减少错误传播。实验结果表明，该方法不仅优于基于 CRF 的方法，而且大大加快了推断进程。
crflabel decodingtwo-stageself-attention modelbayesian neural networks
发现论文，激发创造
  • AIN：具有近似推断网络的快速准确的序列标注

    本文介绍了一种基于并行化的近似变分推断算法，用于提高线性链条件随机场模型的训练和预测速度，并将其设计成可连接编码器的端到端网络，在长句子情况下，该方法在准确率不降的情况下将解码速度提高了 12.7 倍。

    Sep, 2020

  • 分层细化标签注意力网络用于序列标注

    提出一种基于层级注意力机制的标签嵌入模型，较传统的 BiLSTM-CRF 有更好的标签序列表示性能，能显著提高词性标注、实体识别和语法标记任务的标注效果并缩短训练和测试时间。

    Aug, 2019

  • 混合半 - Markov CRF 用于神经序列标记

    本文提出基于条件随机场的混合半马尔可夫模型，应用于自然语言处理中的神经序列标注任务，该模型采用词级别和片段级别的信息同时作为特征来提升性能，在 CoNLL 2003 命名实体识别任务中取得了最好的结果。

    May, 2018

  • 基于掩码条件随机场的序列标注

    本研究提出了一种易于实现的条件随机场变体 MCRF，对 CRF 生成的非法标签序列的问题进行了解决，并在几乎不增加成本的情况下，彻底改善了已有 CRF 模型的性能表现。

    Mar, 2021

  • 神经隐层条件随机场：一个稳健的弱监督序列标注器

    我们提出了一种称为神经隐藏 CRF 的神经化无向图模型来解决弱监督序列标注问题。在概率无向图理论的框架下，神经隐藏 CRF 嵌入有一个隐藏 CRF 层来建模字序列、潜在真实序列和弱标签序列的变量，从而具有无向图模型特有的全局视角。在神经隐藏 CRF 中，我们可以利用强大的语言模型 BERT 或其他深度模型为潜在真实序列提供丰富的上下文语义知识，并利用隐藏 CRF 层捕捉内部标签依赖关系。神经隐藏 CRF 在概念上简单而强大，在一个众包基准和三个弱监督基准上取得了新的最先进结果，包括在平均泛化和推理性能上分别比最近的先进模型 CHMM 高出 2.80 个 F1 点和 2.23 个 F1 点。

    Sep, 2023

  • 神经条件随机场的序列分类

    该研究论文探讨了如何使用基于条件随机场（CRFs）的多传感器融合算法对人类活动监控的大量时间序列进行分类，同时提供了区分不同类型序列的判别模型，实验结果证明了该方法的有效性。

    Feb, 2016

  • 序列模型的快速结构化解码

    非自回归序列模型为了减少推理时间，通常会假定每个单词的生成过程彼此独立，但这会导致结果不一致。本文提出了一种结构化推理模块，使用高效的 CRF 近似算法来建模动态转换技术，以提高翻译的一致性，并在不影响推理速度的前提下，显著提高了翻译性能。

    Oct, 2019

  • 带有记忆增强条件随机场的长范围上下文依赖关系捕捉

    本文提出了通过集成外部记忆来扩展条件随机场的方法，克服了其只能模拟局部特征的限制，能够提高 NLP 任务的性能。实验证明该方法比强 CRF 和 LSTM 基线模型有更好的表现。

    Sep, 2017

  • 基于 CTC 和分段 CRF 的语音识别多任务学习

    本研究中，我们使用相同的递归神经网络编码器对 SCRF 和 CTC 方法进行多任务学习，优化它们的插值损失值，发现这样的学习目标可以显著提高识别准确度，并且还表明 CTC 方法可以用于预训练 RNN 编码器，这有助于提高学习联合模型的收敛速度。

    Feb, 2017

  • 计算上高效的命名实体识别标注器的受限解码

    通过对输出进行限制，可以训练出一个标注器，其与 CRF 相比可以实现两倍的交叉熵损失速度，差异在 F1 方面不具有统计学意义，从而有效消除了对 CRF 的需要。

    Oct, 2020