CVPRNov, 2021

Cerberus Transformer：联合语义、可接触性和属性解析

PDF
TL;DR本文提出了一种基于注意力机制的模型 Cerberus，以及一个相应的训练框架，用于联合语义解析、所书解析和属性解析。该方法在三种任务上取得了最优结果，且通过人类认知的概念相关性实现了弱监督学习，并通过可视化方法证明了在任务之间共享的注意力映射的作用。
发现论文，激发创造
  • 使用 Transformer 进行开放领域框架语义解析

    基于 transformer-based 模型的多任务学习在框架语义解析中取得优越性能，并且在 PropBank SRL 解析上也表现优于现有最佳系统。

    Oct, 2020

  • 集成变压器用于高效准确的排名任务：问答系统应用

    本文提出了一种名为 CERBERUS 的多头学生网络，并使用传统的蒸馏技术对多个大型转换器进行训练，以在不显着增加模型复杂性的情况下提高 AS2 任务的准确性。通过使用该方法，我们的模型在三个英文 AS2 数据集上表现良好，与运行速度较慢且拥有 2.7 倍参数的大型 AS2 模型相媲美。

    Jan, 2022

  • 跨语义表示的多任务解析

    本文针对语义解析的性能进行改进，使用多任务学习方法，将 UCCA 解析作为测试案例，辅助任务包括 AMR 解析、SDP 解析和 Universal Dependencies 解析。实验表明，多任务学习显著提高了 UCCA 解析的性能。

    May, 2018

  • 语义依存分析的深度多任务学习

    本文介绍了一种基于深度学习的语义依存图形式分析系统，该系统采用效率高且几乎拓扑结构简单的推理方法，通过组合双向 - LSTM 和多层感知机，能够在不使用手工特征或语法的情况下显著提高语义依存分析的技术水平。作者还对多任务学习策略进行了研究，并获得了新的技术成果。

    Apr, 2017

  • 基于转导的广义语义分析

    本研究提出了一种基于关注机制的神经转导框架，可在多个任务中提升语义解析的效果，并且不需要先前的对齐预训练，实验结果表明在 AMR 和 UCCA 任务上表现优异。

    Sep, 2019

  • 密集型多任务学习的跨任务注意机制

    该研究介绍了一种多任务学习架构，通过相关性引导的注意力和自我关注增强平均表示学习，以通过 2D 语义分割和几何相关的任务来综合理解复杂场景，并在室内和室外数据集上展示了其好处。

    Jun, 2022

  • MultiNet: 自主驾驶实时联合语义推理

    本文提出了一种联合分类、检测和语义分割的方法，其中编码器在三个任务之间共享。该方法非常简单，可以端到端训练，在具有挑战性的 KITTI 数据集中表现良好，在道路分割任务中优于现有技术。而且，我们的方法非常高效，执行所有任务只需要不到 100 毫秒。

    Dec, 2016

  • 一个层次化多任务方法用于从语义任务中学习嵌入

    本研究介绍了一种使用多任务学习方式训练的分层模型，在一组精心选择的语义任务上取得了最新领先的结果，包括命名实体识别、实体提及检测和关系提取，无需手工设计特征或使用外部 NLP 工具，同时在模型的底层引入归纳偏差，促使模型产生共享语义表示。

    Nov, 2018

  • 大规模知识库对话问答的多任务学习

    本论文提出了一种基于多任务学习的框架，通过引入指针设备的语义解析模型和新型类型感知实体检测模型，实现共享监督信号、减轻误差传播影响，并在大规模对话问答数据集上进行实验，将总体 F1 分数从 67％提升到 79％。

    Oct, 2019

  • 基于 Transformer 和同义词词林语义元知识融合的语义一致性联合识别

    本研究提出一种基于 Transformer 和 HowNet sememes 知识融合的协同驱动语义一致性识别方法，通过多层编码、交互式注意力计算和双向 LSTM 等技术，可以有效提高语义一致性识别的准确性并减小模型参数，适用于长文本场景和对语义一致性进行鉴别。

    Feb, 2023