EMNLPSep, 2021

预训练语言模型中习语的探索数据集和方法

PDF
TL;DR本文介绍了一个包含英语和葡萄牙语的细粒度含义数据集，用于测试语言模型对习语使用的检测能力和生成含有习语句子的表现效果，并且发现 fine-tuning 是学习包含 MWE 的句子表示的一种有效的样本高效方法。
pre-trained language modelsmultiword expressionsidiomsdatasetsfine-tuning
发现论文，激发创造
  • 习惯用语检测的高效样本方法

    本篇研究旨在探究识别成语化多词表达的高效方法，通过 Pattern Exploit Training 和 BERTRAM 两种少样本分类方法，以及探索不在训练数据中的多词表达的识别，提高英语的表现，但对葡萄牙语和加利西亚语的效果较差。

    May, 2022

  • HiJoNLP 参加 SemEval-2022 任务 2: 使用多语言预训练语言模型检测多词表达的成语性

    使用多语言预训练语言模型的上下文表示仅探测习语性的方法，实验发现模型规模越大在习语性探测上越有效。然而，使用较高的模型层不一定能够保证更好的性能。在多语言场景下，不同语言的融合不一致，资源丰富的语言比其他语言更具有优势。

    May, 2022

  • 评估语言模型中的语言推广能力：面向巴西葡萄牙语的数据集

    本研究提出了一种评估方法，针对用于巴西葡萄牙文的语言模型，通过固定的语言格式，考察语言信息的编码方式，评估不同的语言模型在处理语法结构和多词表达方面的泛化能力，解决了语言模型黑盒且缺乏可解释性的问题。

    May, 2023

  • JARVix 参加 SemEval-2022 任务 2：了解一个人需要一个人吗？使用零阶和一阶学习进行成语性检测

    本文采用二分法进行假语汇的检测，使用由英语和葡萄牙语中字面和惯用用法的 Mult-word expressions 组成的数据集，在零 - shot 和一 - shot 两种不同的情境下执行分类，并使用多个 LLMs 进行训练，其在零 - shot 设置下的 F1 得分（宏）为 0.73，在一 - shot 设置下的 F1 得分（宏）为 0.85。

    Feb, 2022

  • HIT 在 SemEval-2022 任务 2 中的表现：预训练语言模型用于成语检测

    通过使用预训练的语言模型，我们可以提供上下文感知的句子嵌入来检测句子中的多词表达是否是惯用用法，从而更好地理解多词表达的惯用含义。

    Apr, 2022

  • 多词语无监督释义

    提出了一种用于无监督多词表达式改写的方法，通过使用单语料库和预训练语言模型（无需微调），不需要使用任何外部资源，例如词典，并在 SemEval 2022 成语语义文本相似度任务上表现优于所有无监督系统并与监督系统相媲美。

    Jun, 2023

  • 使用基于定义表示学习方法检测临床术语中的习语性多词表达

    本研究利用基于定义的语义模型来检测临床术语中的习语和半习语多词表达，开发了一种有效的工具来评估生物医学习语多词表达的习语性，结果表明 BioLORD 模型具有较强的识别习语多词表达的能力，有助于本体译者聚焦于更具挑战性的 MWEs。

    May, 2023

  • 神经机器翻译中注意多词表达

    探究了神经机器翻译 (NMT) 在英文 - 拉脱维亚语和英文 - 捷克语 NMT 系统中分配注意力和改善包含多词表达式 (MWE) 的句子的自动翻译，使用两种改进策略：自动提取的 MWE 候选句对和包含提取的 MWE 候选句的完整句子，两种方法均取得了良好的结果，其中第一种方法表现最佳，自动评估结果提高了 0.99 BLEU 点。同时还提供了用于 MWE 提取和对齐检查的开源软件和工具。

    Oct, 2017

  • 使用 BERT (s) 检测多词表达式

    本文探索使用最先进的神经转换器来检测多词表达的任务， 并在 SemEval-2016 Task 10 数据集中实验评估了几个 Transformer 模型，结果表明 Transformer 模型优于基于长短期记忆（LSTM）的以前的神经模型。

    Aug, 2022

  • 神经机器翻译中成语的自动评估和分析

    本文探讨了神经机器翻译中存在的习语翻译难题，提出了一个新的自动化量化习语翻译错误的方法，并通过对模型的训练以及不同翻译测试集的测试，探索了单语预训练和习语上下文因素对翻译质量的影响。

    Oct, 2022