syntax | BriefGPT - AI 论文速递

关键词syntax

搜索结果 - 78

EMNLP通过迭代洗牌研究词序
通过使用一种新的称为 IBIS 的过程，本文否认了一种假说，即单词顺序对于进行 NLP 基准任务而言必须编码含义的观点，我们在 GLUE 套件和各种英语文本流派中的多种情况下证明这一点，并探讨了诸如 IBIS 这样的洗牌推理过程如何有益于语
PDF3 years ago
ACL播客中的语言使用建模及听众参与度分析
本文通过分析创作者的文字描述和音频稿件的文字转录，研究了语言风格与听众情感关系的各种因素，如词汇多样性、独特性、情感和句法等，并构建了不同的文本表示模型以显示出这些特点对听众情感反应的高度预测性，得出结论：流行的播客风格是有效的，但也有新的
PDF3 years ago
ACL有限上下文对成分句法分析的限制
本文探讨了当前神经语法学习方法对句法结构的表征方式，以及限制神经语法学习方法的表征能力的主要因素，并利用概率上下文无关文法为基础，说明上下文对神经语法学习方法进行语法分析决策时的关键作用。
PDF3 years ago
对照干预揭示相对子句表征对一致性预测的因果效应
本文提出了 AlterRep 方法，运用语言特征替换来检测 BERT 模型在处理语法复杂句子时是否符合英语语法规则；研究表明，BERT 模型在处理不同类型的关系从句时，依据相应的英语语法规则进行模拟预测，展示了从抽象的语言类别处理相对从句信
PDF3 years ago
Transformers 中的位置信息：概述
本文综述了如何将位置信息整合到 Transformer 模型中，以比较不同方法在重要模型维度上的优劣，以及指出在选择位置编码时应考虑的应用特性，并为未来的研究提供刺激。
PDF3 years ago
使用增量解析和动态预测来明确建模语言模型中的语法
该研究提出了一种新的语法感知语言模型：Syntactic Ordered Memory (SOM)，它通过一个增量式解析器显式地建模了结构，并保持了标准语言模型 (从左到右) 的条件概率设置。实验证明，该模型在语言建模、增量解析和语法泛化测
PDF4 years ago
EMNLPLSTMs 自下而上地组合（和学习）
本研究利用基于门控交互的 LSTM 拆分相依度 DI 度量，探索 LSTM 构成性行为的序列表现层次结构，发现 DI 与语法距离有关；为探索这些构成性表现在训练过程中的归纳偏差，进行了简单的合成数据实验，支持一种关于如何自底向上学习层次结构
PDF4 years ago
EMNLP对预训练语言模型中个体神经元的分析
本研究探讨了使用深度 NLP 模型学习的表示来捕捉语言知识。在核心语言学任务上进行了神经元级别的分析，研究了预训练的语言模型中的神经元是否捕捉了语言信息，哪些部分学习了某些语言现象，信息分散或集中在哪里，以及不同架构在学习这些属性方面的差异
PDF4 years ago
EMNLP模仿并攻克：异构树结构蒸馏用于句法 NLP
该研究针对自然语言处理中的某些任务，提出了一种将异构结构知识集成到统一的 LSTM 编码器中的简单且有效的方法，即知识蒸馏，并通过四个典型基于语法的任务的实验结果证明我们的方法在集成丰富异构结构语法时的性能优于树形编码器，同时减少了错误传播
PDF4 years ago
ACL无需大量监督即可出现语法
本文探讨如何在没有专门的句法指导的语料库中从语料学习句法的可行性，以语料库的观察结构为基础，通过定义和隔离语法和意义 / 语用学信息，我们描绘了自主语法的形式特征，并展示了通过简单的优化过程搜索基于语法的词汇类别，而无需对模型形式做任何先验
PDF4 years ago
ACL利用遮蔽和语言建模在 NLP 分类解释中考虑可能性
本文提出一种新的解释方法（OLM），结合 occlusion 和语言模型，以高概率在原始输入的上下文中抽样出有效和语法正确的替换，并证明语言数据的概率分布在 occlusion-based 方法中很重要。
PDF4 years ago
ACL利用显式负例提高神经语言模型语法能力的实用性分析
使用否定例子训练神经语言模型，通过添加边际损失增强模型对特定句法结构的鲁棒性表现，研究发现适当使用否定例子提高模型的鲁棒性，具有可行性，但是该方法在处理宾语从句时还存在困难。
PDF4 years ago
ACLLIMIT-BERT：语言信息引导的多任务 BERT
本文介绍了一种基于 Linguistic Informed Multi-Task BERT (LIMIT-BERT) 的多任务学习模型，其中包含 5 个基本的语言句法和语义任务：词性标记、成分和依赖句法分析、跨度和依赖语义角色标记。相比于最
PDF5 years ago
使用预训练的解析器提升自然语言推理能力
本研究介绍了一种新方法，将语法纳入自然语言推理（NLI）模型中。我们使用预训练的依存解析器中的上下文令牌级向量表示来实现此方法，并使用四个强 NLI 模型（可分解的注意力模型、ESIM、BERT 和 MT-DNN）进行实验，在三个 NLI
PDF5 years ago
具有相关和全局注意力机制的依存感知实体识别
通过语法和树结构，我们使用基于语言学的方法识别实体，并通过相对和全局注意机制增强模型特征，最终在标记空间中线性投影加权向量以预测实体标签，发现该模型可以检测揭示句子中实体类型的单词，并在两个数据集上创立了新的最新技术水平。
PDF5 years ago
面向语法的多语言语义角色标注
本研究关注于多语言语义角色标注（SRL）模型的开发，并围绕句法规则、上下文化词表示等因素展开了研究，提出了一种基于句法规则的剪枝方法，并在 CoNLL-2009 的七种语言基准测试中实现了状态 - of-the-art 的效果，并验证了深度
PDF5 years ago
KDD利用语言特征进行双相情感障碍识别并考虑性别差异
本研究利用基于语言的特征进行双相情感障碍识别，关注语法和词素搭配的特征，并考虑到性别这一重要的调节因素。结果显示性别差异的语言模式特征可以显著提高双相情感障碍识别的性能。
PDF5 years ago
从 BERT 表示中诱导句法树
本篇研究使用英语 BERT 模型来探究删除句子中一个单词会如何影响其他单词的表征，结果表明删除一个可简化的单词，如形容词，不会像删除主要动词那样对其他单词的表征产生很大影响。同时研究了单词可简化性、句法关系及长句结构对语言模型的影响，借此确
PDF5 years ago
BERT 模型看什么？BERT Attention 机制分析
本文通过分析 BERT 的注意力机制及其输出结果，提出了新的方法并应用于其内部结构的探究，证明 Bert 的 attention heads 明显与语言的语法和指代有关，其中某些 attention heads 可以高精度地表示动词的直接宾
PDF5 years ago
ACL分析 Transformer 语言模型中的注意力结构
本文研究了基于注意力机制的 Transformer 模型在自然语言处理中的应用，通过对 GPT-2 模型的注意力结构的可视化和大规模语料库的分析，发现模型在不同层次区分不同词性并在中间层次最强烈地关注依赖关系，最深层次关注最远程的联系，并抽
PDF5 years ago