使用 Transformer 进行开放领域框架语义解析
本文研究了 BART 和 XLM-R 两种目前最先进的基于 transformers 的任务导向语义解析模型在单语和多语境下的表现,实验证明它们不仅在消歧意图 / 槽方面有困难,而且在生成句法上有效的语义框架方面也遇到了问题,主要原因是在把句子片段抽取到框架中时存在歧义,导致语法无效。不过,该模型同时也为是否正确或不正确的语义框架给出了充足的指标,使得该模型可以轻松部署在生产环境中。
May, 2021
该研究介绍了 Frame Semantic Transformer,这是一个开源的 Python 库,它在提高易用性的同时几乎达到了 FrameNet 1.7 的最新水平,使用了一个基于 Propbank 和 FrameNet 样例的 T5 模型精调,通过使用 FrameNet 词汇单元在推断时提供提示,使用文本数据增强技术增强了模型对现实世界数据的鲁棒性。
Mar, 2023
本研究提出了一种基于帧语义的解析器,可以标记出 FrameNet 谓词的语义参数,通过一种强调回忆的基于 RNNs 的扩展,该基本系统在无需调用句法解析器的情况下实现了竞争性能;同时,作者还介绍了一种仅在训练时使用来自 Penn Treebank 的短语句法注释的方法,该方法旨在解决传统句法流水线的高成本问题,并实现了最先进的性能。
Jun, 2017
本文介绍了 OpenFSP 框架,它可以以少量简单的标签为基础,实现对话系统中领域分类与语义解析的任务,并获得了在 TopV2 数据集上的显著表现。
May, 2023
本文提出了一种基于深度学习的方法,利用多任务学习中的槽位描述来快速启动新领域的语义解析模型,解决了对话系统领域扩展问题,同时消除了手动注释数据或显式模式对齐的需求,并在多个领域的实验中展现出显著的槽位填充性能优化。
Jul, 2017
本文提出了一种基于多任务框架和序列到序列模型的语义解析方法,旨在解决语料数据不足限制,较少标注数据任务可以通过从大量标注数据任务中传递学习的方式得到提升,实验结果在自己的数据集中获得了 1.0% 到 4.4% 的准确度提升,在 ATIS 语义解析任务中,准确度提升了 2.5% 到 7.0%。
Jun, 2017
本文介绍了一种基于深度学习的语义依存图形式分析系统,该系统采用效率高且几乎拓扑结构简单的推理方法,通过组合双向 - LSTM 和多层感知机,能够在不使用手工特征或语法的情况下显著提高语义依存分析的技术水平。作者还对多任务学习策略进行了研究,并获得了新的技术成果。
Apr, 2017
本文提出了一种基于注意力机制的模型 Cerberus,以及一个相应的训练框架,用于联合语义解析、所书解析和属性解析。该方法在三种任务上取得了最优结果,且通过人类认知的概念相关性实现了弱监督学习,并通过可视化方法证明了在任务之间共享的注意力映射的作用。
Nov, 2021
本文为研究使用多任务学习 (MTL) 框架统一不同的含义数据集和训练单一模型,使用了五个数据集 (Geoquery,NLMaps,TOP,Overnight,AMR) 进行实验,我们发现在不增加总参数数量的情况下,全网络共享的 MTL 架构的解析精度与单任务的基线相当或更好,同时也提供了更好的组合推广性,我们还提出了一种可与广泛使用的比例抽样策略相比较的竞争性选择任务抽样方法。
Jun, 2021
我们提出了一种新颖的半监督方法,应用于序列转换和语义分析。该方法包含基于生成模型的无监督成分,在该模型中,潜在的句子生成不成对的逻辑形式,我们将此方法应用于许多语义解析任务,重点关注训练数据标记不足的领域,并使用合成逻辑形式扩充这些数据集。
Sep, 2016