ACLJun, 2019

基于策略梯度的多任务语义依存解析学习简单先易策略

PDF
TL;DR本文提出了一种新的迭代谓词选择算法，结合了基于图的和基于转换的语法分析方法，同时使用多任务学习和特定任务策略梯度训练来训练模型，在 SemEval 2015 任务 18 数据集上取得了新的最佳性能，并观察到策略梯度训练学习了一种易于先完成的策略。
semantic dependency parsingiterative predicate selectionmulti-task learningpolicy gradient trainingsemeval 2015 task 18
发现论文，激发创造
  • 语义依存分析的深度多任务学习

    本文介绍了一种基于深度学习的语义依存图形式分析系统，该系统采用效率高且几乎拓扑结构简单的推理方法，通过组合双向 - LSTM 和多层感知机，能够在不使用手工特征或语法的情况下显著提高语义依存分析的技术水平。作者还对多任务学习策略进行了研究，并获得了新的技术成果。

    Apr, 2017

  • 基于图形的无递归语义解析

    本文提出了一种新的基于图的方法来进行语义解析，解决了文献中观察到的两个问题：(1) seq2seq 模型无法完成组合泛化任务；(2) 使用短语结构解析器的先前工作无法涵盖树库中观察到的所有语义解析。我们证明了两个优化算法的正确性，用基于约束平滑和条件渐变的方法近似解决这些推断问题。实验证明，我们的方法在 Geoquery、Scan 和 Clevr 上都具有最先进的效果，包括在测试组合泛化的过程中。

    Feb, 2023

  • 基于指针网络的基于转换的语义依存句法分析

    通过使用 pointer networks 实现的转移句法分析器在依赖句法分析方面已经成为最新的技术水平，我们提出了一种基于指针网络的转移系统，可以直接生成标记有方向无环图并实现语义依赖分析。同时，我们使用从 BERT 提取的深层上下文化的词嵌入来增强我们的方法。这一结果不仅超越了所有现有的基于转移的模型，而且还匹配了 SemEval 2015 任务 18 英语数据集上先前最先进的基于图形的解析器的最佳完全监督准确率。

    May, 2020

  • 高效大规模特征选择的语义依存解析整合

    本文提出了一种整合了一切的语义分析模型，采用词对分类问题的方法，运用最大熵分类器和特征选择工程解决了该领域迄今为止最大的特征空间问题，获得了 CoNLL-2008 共享任务评估数据集的最好性能。

    Jan, 2014

  • 使用端到端神经网络进行二阶语义依赖分析

    本文实现了第二阶段语义依赖解析器，使用平均场变分推理或循环置信传播算法来近似第二阶段解析，然后将两种算法展开成神经网络的递归层以进行端到端的训练，实验结果表明我们的方法实现了最新的最佳性能。

    Jun, 2019

  • 利用递归神经网络 DAG 语法进行语义图解析

    使用递归神经网络自动推断语义结构图形，以提高对多语种语言的理解和建模能力。

    Sep, 2019

  • 跨语义表示的多任务解析

    本文针对语义解析的性能进行改进，使用多任务学习方法，将 UCCA 解析作为测试案例，辅助任务包括 AMR 解析、SDP 解析和 Universal Dependencies 解析。实验表明，多任务学习显著提高了 UCCA 解析的性能。

    May, 2018

  • 提升双仿射语义依存分析的辅助任务

    使用简单的辅助任务来增加语义依存分析（SDP）性能，对英语无环数据集和法语深层语法循环图进行实验，显示了在基于 Transformer 的上下文表示的接近最新技术基线上的有限但系统性能改善，从而提供了一种简单而稳健的提高 SDP 性能的方法。

    Feb, 2024

  • 政策梯度作为组块分析中动态 Oracle 的代理

    本研究探讨使用策略梯度方法作为独立于特定解析器转移系统的替代动态预言机的多元组监督方法，以直接优化 F1 指标并在训练期间进行探索，从而减少暴露偏差。在三种不同语言的四个成分解析器中，该方法在几乎所有情况下都比静态预言机似然训练方法表现出更高的效果。

    Jun, 2018

  • 稀疏扩散策略：一种稀疏、可重复和灵活的机器人学习策略

    通过引入稀疏的、可重用的、灵活的策略 Sparse Diffusion Policy（SDP），在传统模型中解决了多任务学习和持续学习的高计算成本和灾难性遗忘的挑战，SDP 通过采用基于 transformer 的扩散策略中的 experts 和 skills，实现了选择性激活专家和技能，在不重新训练整个模型的情况下实现了高效的任务特定学习，减少了激活参数的负担，并促进了不同任务中专家的无缝集成和重用，通过对多样任务的广泛实验验证了 SDP 在多任务场景中的优越性，防止了对新任务的遗忘，实现了高效的任务转移，为先进的机器人应用提供了有前景的解决方案。

    Jul, 2024