本文利用神经网络方法,结合了准确的 CRF 解析动态规划和丰富的非线性特征,提出了一种解析模型。该模型结构上基于 CRF,以锚定规则制作因素,而不是使用基于稀疏特征的线性势函数,使用前馈神经网络计算非线性势函数。在 Penn Treebank 第 23 节上,我们的系统优于先前最佳单个解析器结果,F1 分数达到 91.1。
Jul, 2015
该研究论文探讨了如何使用基于条件随机场(CRFs)的多传感器融合算法对人类活动监控的大量时间序列进行分类,同时提供了区分不同类型序列的判别模型,实验结果证明了该方法的有效性。
Feb, 2016
本文介绍了一种 CRFs 的特征归纳方法,该方法基于构建仅显著增加对数似然的特征联合的原则,与 Della Pietra 等人的方法不同,具有更高的准确性和较低的特征数量,适用于线性链 CRFs 和关系马尔可夫网络,实验证明其在命名实体识别任务中的有效性。
Oct, 2012
非自回归序列模型为了减少推理时间,通常会假定每个单词的生成过程彼此独立,但这会导致结果不一致。本文提出了一种结构化推理模块,使用高效的 CRF 近似算法来建模动态转换技术,以提高翻译的一致性,并在不影响推理速度的前提下,显著提高了翻译性能。
Oct, 2019
我们提出了一种称为神经隐藏 CRF 的神经化无向图模型来解决弱监督序列标注问题。在概率无向图理论的框架下,神经隐藏 CRF 嵌入有一个隐藏 CRF 层来建模字序列、潜在真实序列和弱标签序列的变量,从而具有无向图模型特有的全局视角。在神经隐藏 CRF 中,我们可以利用强大的语言模型 BERT 或其他深度模型为潜在真实序列提供丰富的上下文语义知识,并利用隐藏 CRF 层捕捉内部标签依赖关系。神经隐藏 CRF 在概念上简单而强大,在一个众包基准和三个弱监督基准上取得了新的最先进结果,包括在平均泛化和推理性能上分别比最近的先进模型 CHMM 高出 2.80 个 F1 点和 2.23 个 F1 点。
Sep, 2023
本文提出了通过集成外部记忆来扩展条件随机场的方法,克服了其只能模拟局部特征的限制,能够提高 NLP 任务的性能。实验证明该方法比强 CRF 和 LSTM 基线模型有更好的表现。
Sep, 2017
本文提出基于条件随机场的混合半马尔可夫模型,应用于自然语言处理中的神经序列标注任务,该模型采用词级别和片段级别的信息同时作为特征来提升性能,在 CoNLL 2003 命名实体识别任务中取得了最好的结果。
May, 2018
通过对输出进行限制,可以训练出一个标注器,其与 CRF 相比可以实现两倍的交叉熵损失速度,差异在 F1 方面不具有统计学意义,从而有效消除了对 CRF 的需要。
Oct, 2020
本文研究将非局部特征注入本地基于跨度的解析器的训练过程中,通过预测组成成分 n-gram 非局部模式并确保非局部模式与本地成分的一致性,结果显示,我们的方法在 PTB 和 CTB 上均优于自我注意解析器,在 PTB 上达到 BERT 的最新性能(95.92 F1),并在 CTB 上获得强大的性能(92.31 F1)。与基线相比,在多语言和零 - shot 跨领域设置中,我们的解析器也实现了更好或具有竞争力的性能。
Sep, 2021
本文介绍了一种基于并行化的近似变分推断算法,用于提高线性链条件随机场模型的训练和预测速度,并将其设计成可连接编码器的端到端网络,在长句子情况下,该方法在准确率不降的情况下将解码速度提高了 12.7 倍。
Sep, 2020