COLINGNov, 2020

MTLB-STRUCT @PARSEME 2020：使用多任务学习和预训练掩码语言模型捕获未见到的多词表达式

PDF
TL;DR该论文描述了一个半监督系统，该系统同时学习语言多词表达（VMWE）和依赖关系解析树作为辅助任务，并利用预训练的多语言 BERT。该系统已参加了 PARSEME 共享任务 2020 年的公开赛，排名第一，并在所有 14 种语言中平均识别未见过的 VMWE 以及 VMWE 的 F1 分数方面表现出色。
multiword expressionsdependency parse treesbertsemi-supervised systemparseme shared task
发现论文，激发创造
  • 侧抑制和领域适应在多语言多词表达式识别中的应用

    为在多语境环境下准确识别多词表达式 (MWEs)，在所有第 1.2 版 PARSEME 语料库中可用的 14 种语言上对 mBERT 模型进行训练，并将侧向抑制和语言对抗性训练纳入方法中，以创建语言无关的嵌入并提高其识别多词表达式的能力，该方法在全球 MWE 识别中比 PARSEME 1.2 竞赛的最佳系统 MTLB-STRUCT 在 11 种语言中更好地实现，对于未见 MWE 识别中的 12 种语言，平均所有语言，我们的最佳方法在全球 MWE 识别上优于 MTLB-STRUCT 系统 1.23％，在未见全球 MWE 识别上优于 MTLB-STRUCT 系统 4.73％。

    Jun, 2023

  • SHOMA 在 Parseme 共享任务中的自动识别多词表达式：具有高泛化性的神经多词表达式标注

    本文提出了一种与语言无关的深度学习架构，专门用于多词表达式 (MWE) 的识别任务，采用了卷积和循环层的神经网络架构，顶部可选的 CRF 层，使用预训练的维基百科词嵌入，并在自动识别动词 MWEs 方面表现优异，在开放和封闭轨迹的所有语言中，综合平均基于 MWE 的 F1 分数为 58.09，该系统特别擅长处理未见过的数据输入。

    Sep, 2018

  • 使用 BERT (s) 检测多词表达式

    本文探索使用最先进的神经转换器来检测多词表达的任务， 并在 SemEval-2016 Task 10 数据集中实验评估了几个 Transformer 模型，结果表明 Transformer 模型优于基于长短期记忆（LSTM）的以前的神经模型。

    Aug, 2022

  • 多词语无监督释义

    提出了一种用于无监督多词表达式改写的方法，通过使用单语料库和预训练语言模型（无需微调），不需要使用任何外部资源，例如词典，并在 SemEval 2022 成语语义文本相似度任务上表现优于所有无监督系统并与监督系统相媲美。

    Jun, 2023

  • StructVAE: 树状结构潜变量模型用于半监督语义解析

    本文介绍了 StructVAE 这样一种半监督语义解析的变分自编码模型，通过学习来自有限的并行数据和广泛可用的未标记的自然语言表述，构建 MRs 树状结构隐藏变量，实验表明，结合额外的未标记数据，StructVAE 可以超越强有力的监督模型在 ATIS 领域和 Python 代码生成任务上的表现。

    Jun, 2018

  • SemEval-2022 11 任务：语义模糊环境中低资源语言的复杂命名实体识别

    使用预训练的语言模型和整词遮罩技术，结合 CRF、BiLSTMs、线性分类器等多种神经网络架构， 在中文和西班牙语两种低资源语言的命名实体识别任务上超越基准，并在任务中表现最佳模型占据竞争性位置。

    Jul, 2022

  • 利用多语言对抗训练和横向抑制来探测罗马尼亚多字表达

    该研究介绍了基于侧向抑制层和对抗训练的多语言模型方法，自动识别罗马尼亚语多词表达式，提高了性能并取得了先进的 SOTA 表现。

    Apr, 2023

  • 神经机器翻译中注意多词表达

    探究了神经机器翻译 (NMT) 在英文 - 拉脱维亚语和英文 - 捷克语 NMT 系统中分配注意力和改善包含多词表达式 (MWE) 的句子的自动翻译，使用两种改进策略：自动提取的 MWE 候选句对和包含提取的 MWE 候选句的完整句子，两种方法均取得了良好的结果，其中第一种方法表现最佳，自动评估结果提高了 0.99 BLEU 点。同时还提供了用于 MWE 提取和对齐检查的开源软件和工具。

    Oct, 2017

  • 针对无监督神经机器翻译，提升预训练语言模型的词汇能力

    本文介绍了一种基于子词嵌入的双语掩码语言模型预训练方法，应用于无监督神经机器翻译和双语词汇归纳任务中均取得了较好的性能表现。

    Mar, 2021

  • MMTM：用于数学应用题的多任务多解码器变换器

    提出一种新的神经网络模型 MMTM，利用多任务和多解码器，在预训练期间创建变体任务，使用特定任务的解码器并使用 Transformer 架构。该模型在对抗性挑战数据集 SVAMP 上相对于 Seq2Seq，GTS 和 Graph2Tree 等模型有 19.4％的相对性能提高来取得更好的数学推理能力和普适性。

    Jun, 2022