基于击键动态的浅层句法分析信号
利用知识蒸馏技术将小型语法语言模型的知识传递到 LSTM 语言模型,从而使 LSTM 对更大的训练数据开发出更具结构感知性的表示方式。在针对语法的评估中,我们发现,尽管顺序 LSTM 比以前的报告要好得多,但我们提出的技术显著改善了这个基准值,产生了新的最佳成果。我们的发现和分析确认了结构上的偏差的重要性,甚至是在从大量数据中学习的模型中也如此。
Jun, 2019
我们研究了浅层句法意识表示对 NLP 任务的作用,提出了两种方法,一是增强 ELMo 架构,使得上下文嵌入利用浅句法上下文,二是在下游任务数据上自动获得的浅句法特征。然而,两种方法相对于仅使用 ELMo 作为基准的情况并未显著提升性能。这些发现表明 ELMo 风格的预训练发现了使浅层句法意识多余的表示。
Aug, 2019
本研究使用长短期记忆神经网络(LSTM)来探讨其在语言处理中捕捉句法结构的能力,结果表明,在受到显式语法目标的监督时,LSTM 可以捕捉相当数量的语法结构,但是需要更强的架构来进一步减少错误,且语言建模信号不足以捕捉句法敏感的依赖关系,需要更直接的监督。
Nov, 2016
本文提出一种语言模型,其利用句法结构从单词历史中提取有意义的信息,实现了远距离依赖关系的利用。该模型为每个单词序列 - 二元分析结构分配概率加以注解,同时提出了概率参数化和一组评估其预测力的实验。
Nov, 1998
该研究比较了四种不同的预训练目标(语言模型、翻译、跳跃思考和自编码)对模型学习语言信息和句法信息的影响,结果表明语言模型对于转移学习和需要句法信息的应用最为适合。
Sep, 2018
该论文介绍了一种语言模型,它利用句法结构从单词历史中提取有意义的信息,从而使得可以使用远距离依赖关系。该模型分配概率给每个单词序列 - 带头词注释的二元解析结构,并以左到右的方式运作,因此适用于自动语音识别。通过一系列实验来评估预测能力,该模型及其概率参数化对标准三元模型进行了改进。
Nov, 1998
本文回顾了近年来自然语言处理领域的语言模型的发展,并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案,旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。
Oct, 2021