ACLJan, 2024

基于 Transformer 模型的多词表达语义研究：一项调查

PDF
TL;DR通过对多词表达式的深入调查，我们发现 Transformer 模型在捕捉多词表达式的语义上存在不一致性，主要依赖表面模式和记忆信息，并且其表示在架构的早期层中主要存在。另外，我们强调了更直接可比较的评估设置的需求。
multiword expressionsmwestransformer modelssemanticsevaluation setups
发现论文，激发创造
  • 使用 BERT (s) 检测多词表达式

    本文探索使用最先进的神经转换器来检测多词表达的任务， 并在 SemEval-2016 Task 10 数据集中实验评估了几个 Transformer 模型，结果表明 Transformer 模型优于基于长短期记忆（LSTM）的以前的神经模型。

    Aug, 2022

  • 基于 Transformer 的花卉和植物名称多词表达式检测

    该研究探讨了使用最先进的神经转换器检测花卉和植物名称多词表达的任务，并在植物百科全书数据集上评估了不同的转换器模型，实证表明转换器模型优于基于 LSTM 的先前神经模型。

    Sep, 2022

  • 神经机器翻译中注意多词表达

    探究了神经机器翻译 (NMT) 在英文 - 拉脱维亚语和英文 - 捷克语 NMT 系统中分配注意力和改善包含多词表达式 (MWE) 的句子的自动翻译，使用两种改进策略：自动提取的 MWE 候选句对和包含提取的 MWE 候选句的完整句子，两种方法均取得了良好的结果，其中第一种方法表现最佳，自动评估结果提高了 0.99 BLEU 点。同时还提供了用于 MWE 提取和对齐检查的开源软件和工具。

    Oct, 2017

  • 使用词义消歧解决多词表达识别的问题

    本文中，我们使用 Bi-encoder 模型训练了一个过滤多词表达式候选人的模型，该模型使用锁定和上下文信息。我们在 DiMSUM 数据集上实现了最优结果，在 PARSEME 1.1 英语数据集上使用此方法获得了有竞争力的结果。同时，我们还尝试使用 Poly-encoder 模型对 MWE 进行识别和 WSD，并引入了一个修改的 Poly-encoder 结构，在这些任务上表现优于标准 Poly-encoder。

    Mar, 2023

  • 多词语无监督释义

    提出了一种用于无监督多词表达式改写的方法，通过使用单语料库和预训练语言模型（无需微调），不需要使用任何外部资源，例如词典，并在 SemEval 2022 成语语义文本相似度任务上表现优于所有无监督系统并与监督系统相媲美。

    Jun, 2023

  • 缩小鸿沟：关注多词表达中的不连续性识别

    本研究介绍了一种新的标记多词表达式的方法，利用了一种具有语言独立性和语言学可解释性的深度学习架构，特别针对了计算处理多词表达式中不连续性这一尚未充分开发的领域。本文提出了两种神经网络结构：图形卷积网络（GCN）和多头自注意力，通过门控机制将两者的互补信息结合在一起，并在标准多语言动词 MWE 数据集上进行实验，结果表明我们的模型不仅在不连续的 MWE 情况下表现更好，同时在整体 F-score 上也表现优异。

    Feb, 2019

  • HilMeMe: 一种基于人机交互的机器翻译准确度度量方法，关注多词表达

    本文介绍了一种基于多词表达式的人机协作评估度量方法，旨在评估机器翻译系统中多词表达式的准确性和语义等价性，以此作为评估机器翻译系统的指标。

    Nov, 2022

  • 习惯用语检测的高效样本方法

    本篇研究旨在探究识别成语化多词表达的高效方法，通过 Pattern Exploit Training 和 BERTRAM 两种少样本分类方法，以及探索不在训练数据中的多词表达的识别，提高英语的表现，但对葡萄牙语和加利西亚语的效果较差。

    May, 2022

  • 使用基于定义表示学习方法检测临床术语中的习语性多词表达

    本研究利用基于定义的语义模型来检测临床术语中的习语和半习语多词表达，开发了一种有效的工具来评估生物医学习语多词表达的习语性，结果表明 BioLORD 模型具有较强的识别习语多词表达的能力，有助于本体译者聚焦于更具挑战性的 MWEs。

    May, 2023

  • 预训练语言模型中习语的探索数据集和方法

    本文介绍了一个包含英语和葡萄牙语的细粒度含义数据集，用于测试语言模型对习语使用的检测能力和生成含有习语句子的表现效果，并且发现 fine-tuning 是学习包含 MWE 的句子表示的一种有效的样本高效方法。

    Sep, 2021