syntactic generalization | BriefGPT

关键词syntactic generalization

搜索结果 - 9

启发式核心：理解预训练语言模型的子网络泛化
预训练语言模型在语法泛化方面的机制通过探索子网络和注意力机制的角度，提供了更详细的描述。
PDF4 months ago
EMNLP推递层：在变形金刚语言模型中编码递归结构
递归是人类语言的一项突出特征，由于缺乏明确的递归状态跟踪机制，对自我关注来说是一项根本性的挑战。本研究引入了推入式层，这是一种新的自我关注层，通过跟踪已观察前缀的增量解析中每个令牌的估计深度，模拟了递归状态。使用推入式层的 Transfor
PDF8 months ago
ACL预训练语言模型在日语敬语转换上的句法泛化能力分析
本研究旨在探讨预训练的大型语言模型是否可以像人类一样处理日语敬语。通过引入一项敬语转换任务，从不同句型的问题模板构建了一个日本敬语数据集，并测试了一个领先的大型语言模型 GPT-3 在此任务上的句法泛化能力。结果表明，在上下文敬语转换任务上
PDFa year ago
视觉是否加速神经语言学习者的分层泛化？
本研究探讨了神经语言模型（LM）与人类学习者的效率差距，提出了学习者除文本外的其他模式，即视觉模式的可行性，并通过两个实验表明视觉模式在简化的人工场景下加速了 LMs 的合适的语法泛化，但在嘈杂的现实场景中，LMs 很难做到。这表明视觉有助
PDFa year ago
EMNLP组成、注意力或两者皆有？
本文研究了 Composition Attention Grammars（CAGs）结构，并使用自我关注机制递归地将子树组合成单个向量表示。我们评估了此结构的作用，以及语言模型与和没有此结构的区别，发现适当的结构设计可以增强语言模型的人类化
PDF2 years ago
ACL循环神经网络语法的有效批处理
本文提出了基于批处理的 RNN-Grammar 训练方法，并借助 PyTorch 实现在 GPU 上显著加速训练和推断过程，并在大规模的训练数据集和广泛的句法评估基准测试中验证了批处理 RNN-Grammar 的性能优势。
PDF3 years ago
ACL评估基于 Transformer 的多语言语言模型的句法能力
本研究探讨了 Bert 和 RoBERTa 等单语和多语版本的句法泛化能力，使用 SyntaxGym 测试套件和其在西班牙语中的替代品 SyntaxGymES 对英语和西班牙语进行了测试。
PDF3 years ago
使用增量解析和动态预测来明确建模语言模型中的语法
该研究提出了一种新的语法感知语言模型：Syntactic Ordered Memory (SOM)，它通过一个增量式解析器显式地建模了结构，并保持了标准语言模型 (从左到右) 的条件概率设置。实验证明，该模型在语言建模、增量解析和语法泛化测
PDF4 years ago
相似性能下的 BERT 模型泛化能力差异大
本研究研究了同一神经网络架构在同一数据集上多次训练后是否在不同运行中进行相似的语言概括，通过在 Multi-genre 自然语言推理（MNLI）数据集上微调 100 个 BERT 实例并在评估自然语言推理中的句法概括的 HANS 数据集上对
PDF5 years ago