动态语法映射:一种无监督句法分析的新方法
本文介绍了一种新的方法 SSUD,通过利用语法关系的一个属性 —— 语法替换性,不需要监督下拉金标准解析,就能诱导出语法结构,从而帮助理解大型预训练语言模型(LLMs)的句法能力,提高依赖分析任务的定量和定性效果。
Nov, 2022
本文提出了一种基于不同主题学习单词的多个分布式表示的分布式语义模型,该模型通过不同主题训练不同的 DSM,然后将每个基于主题的 DSM 对齐到一个公共向量空间,实现了最先进的上下文词语相似性任务,并且在 NLP 下游任务中表现出比单一原型模型更好的性能。
Apr, 2019
本研究旨在对传统计数模型、预测模型与现代上下文向量模型(由 Transformer 神经语言模型生成)进行遵循语境学习的分布式语义模型(DSM)评估,结果显示在大多数上下文之外的语义任务和数据集中,静态 DSM 优于上下文化代表性,并揭示了 DSM 之间的不同之处,这些不同涉及词汇项的频率和词性,为调查分布式模型生成的语义空间提供了方法。
May, 2021
本研究探讨了多种模型构型,借助通用分解语义数据(UDS)集中丰富的句法和语义注释,联合解析通用依赖和 UDS,以获得两种形式主义的最新结果,同时分析了句法和语义联合模型的行为。我们还研究了联合建模在多语言环境下的普适性,并发现了 8 种语言中相似的趋势。
Apr, 2021
该研究提出了一种新的语法感知语言模型:Syntactic Ordered Memory (SOM),它通过一个增量式解析器显式地建模了结构,并保持了标准语言模型 (从左到右) 的条件概率设置。实验证明,该模型在语言建模、增量解析和语法泛化测试方面均能取得强大的结果,同时使用的参数比其他模型更少。
Oct, 2020
本研究提出了一种新的基于依存的混合树模型,将自然语言转换成机器可解释的含义表示,并通过在标准多语言 GeoQuery 数据集上进行的大量实验证明,我们的方法能够在多种语言上实现最先进的性能。
Sep, 2018
本文提出了一个动态图形框架,能够有效地建模上下文话语、令牌、数据库模式及其交互,并通过强大的重新排名模型进一步增强。该模型在 SParC 和 CoSQL 数据集上实现了新的最优表现。
Jan, 2021
研究使用问题 - 回答对来学习语义解析器,其中逻辑形式被建模为潜变量,并提出了一种新的语义形式 —— 基于依赖的组成语义学。该方法具有有利的语言学、统计和计算性质,并在两个标准语义解析基准测试中优于所有现有的最先进系统。
Sep, 2011