研究了现代和经典的组成分析方法的差异,以及神经网络在此领域的应用。高性能的神经模型代表了最新的工作,实验发现该模型隐式编码了过去语法和词汇表明确提供的信息,暗示这种支撑可以被强大的通用神经机制取代。
Apr, 2018
本文研究了两种概念简单的本地神经模型,在成分分析中取得了高度竞争的结果,分别实现了 PTB 和 CTB5.1 中的标记支架 F1 得分为 92.4%和 87.3%。
Aug, 2018
研究基于序列的神经网络与基于树的网络在句法任务上的表现,并比较常见的句法表示方法对句法结构带来的影响,同时发现基于组成结构的网络更具鲁棒性,通过少量构建的数据 fine-tune 可以显着提高序列模型的性能,表明数据增强是为序列模型注入句法偏置的可行替代方案。
Apr, 2020
采用领域无关的注意力增强序列到序列模型在一大合成语料库的标注基础上取得了最先进的效果,训练小规模人工标注的数据集时也达到了标准解析器的表现,且较大程度上提高了数据利用率和处理速度。
Dec, 2014
本文基于上下文中的先前思路是否明确需监督的句法分析才能实现高层语义理解,通过实证研究检验了监督句法分析在语言模型预训练的 Transformer 网络中应用于语义理解的效用,并通过分析该网络在句法分析中前后的表示空间,得出监督句法分析对最终语义理解性能的影响非常有限的结论。
Aug, 2020
利用大型预处理语言模型作为少型语义解析器,将输入 paraphrase 成类似英语的控制子语言,通过很少的数据和代码快速批量生成语义解析器,表现出令人惊讶的有效性,远超过基线方法。
Apr, 2021
该研究评估基于大型语言模型的语义解析器处理上下文话语的能力,并考察了四种在对话式语义解析中适应上下文话语的范式的比较,研究表明 Rewrite-then-Parse 范式在综合考虑解析准确性、标注成本和错误类型时具有最大潜力。
Sep, 2023
本文提出了一种新型的神经语言模型 Parsing-Reading-Predict Networks(PRPN),利用其特定的神经网络结构能够自动识别未标注的句子的句法结构,并利用它来学习更好的语言模型。实验证明,该模型能够发现底层的句法结构,并在单词 / 字符水平的语言模型任务上取得了最先进水平。
Nov, 2017
本文研究了语言模型在认知建模和工程研究中的应用,提出了现代神经 LM 的局限性,其中与人类阅读过程相比,存在上下文访问能力的差异。限制 LM 上下文访问可以提高其模拟人类阅读行为的能力,同时将句法偏好纳入 LM 的上下文访问中也可以增强其认知合理性。
May, 2022
研究最近聚焦于神经语言模型的成功因素,测试方法学、n-gram 模型以及 LSTM 模型等方式都被用来验证其句法表达的能力,本论文重现了最近论文的实验结果,显示了以字符串为基础的句法诱导训练的基本问题。