ACLFeb, 2022

JARVix 参加 SemEval-2022 任务 2：了解一个人需要一个人吗？使用零阶和一阶学习进行成语性检测

PDF
TL;DR本文采用二分法进行假语汇的检测，使用由英语和葡萄牙语中字面和惯用用法的 Mult-word expressions 组成的数据集，在零 - shot 和一 - shot 两种不同的情境下执行分类，并使用多个 LLMs 进行训练，其在零 - shot 设置下的 F1 得分（宏）为 0.73，在一 - shot 设置下的 F1 得分（宏）为 0.85。
large language modelsmult-word expressionsbinary classificationzero shot settingone shot setting
发现论文，激发创造
  • HiJoNLP 参加 SemEval-2022 任务 2: 使用多语言预训练语言模型检测多词表达的成语性

    使用多语言预训练语言模型的上下文表示仅探测习语性的方法，实验发现模型规模越大在习语性探测上越有效。然而，使用较高的模型层不一定能够保证更好的性能。在多语言场景下，不同语言的融合不一致，资源丰富的语言比其他语言更具有优势。

    May, 2022

  • 预训练语言模型中习语的探索数据集和方法

    本文介绍了一个包含英语和葡萄牙语的细粒度含义数据集，用于测试语言模型对习语使用的检测能力和生成含有习语句子的表现效果，并且发现 fine-tuning 是学习包含 MWE 的句子表示的一种有效的样本高效方法。

    Sep, 2021

  • 使用统一的多选视角进行零样本自然语言理解

    本篇论文提出一种新的零样本学习范式，其适用于任何格式，并适用于一系列语言任务，如文本分类、常识推理、指代消解和情感分析，并将零样本学习转化为多选任务，从而避免大规模生成模型的问题。该方法不仅增加了模型的推广能力，而且显著减少了参数的数量，同时具有高效的训练和部署特点。经实验结果表明，该方法在多个基准测试中表现卓越，且仅使用了 235M 的参数，远小于拥有十亿参数的现有先进模型。

    Oct, 2022

  • SemEval-2022 任务 2: 多语言习语检测和句子嵌入

    这篇论文介绍了跨语种成语识别和句子嵌入的共享任务，包括二分类任务和基于文本相似度的任务，并说明了训练数据、数据集、评估指标、参与系统和结果。这项任务吸引了近 100 个注册参与者，成立了 25 个团队，在实践和评估阶段共提交了超过 650 和 150 份提交 respectively。

    Apr, 2022

  • 习惯用语检测的高效样本方法

    本篇研究旨在探究识别成语化多词表达的高效方法，通过 Pattern Exploit Training 和 BERTRAM 两种少样本分类方法，以及探索不在训练数据中的多词表达的识别，提高英语的表现，但对葡萄牙语和加利西亚语的效果较差。

    May, 2022

  • HIT 在 SemEval-2022 任务 2 中的表现：预训练语言模型用于成语检测

    通过使用预训练的语言模型，我们可以提供上下文感知的句子嵌入来检测句子中的多词表达是否是惯用用法，从而更好地理解多词表达的惯用含义。

    Apr, 2022

  • LLM 见视觉语言模型用于零样本单类别分类

    我们提出了一个两步解决方案，首先通过查询大规模语言模型来辨别视觉上具有混淆性的物体，然后依靠视觉 - 语言预训练模型（例如 CLIP）进行分类。通过适应大规模视觉基准测试，我们展示了所提出方法在此情境下优于其他自适应商用替代方案的能力，包括一个在分类树中与正样本在一个固定距离的负样本的细粒度可控版本的 iNaturalist。我们的研究表明，仅通过标签，可以区分单个类别与其他语义相关的类别。

    Mar, 2024

  • OCHADAI 在 SemEval-2022 任务 2 中：针对多语言成语鉴别的对抗训练

    本文提出了一种多语言对抗训练模型，以判断一个句子是否包含习语表达。该模型利用不同多语言最先进的基于转换器的语言模型（即多语言 BERT 和 XLM-Roberta）的预训练上下文表示以及对抗性训练，提高模型的泛化能力和鲁棒性，在不依赖于人工创造的特征，知识库或除目标数据集以外的其他数据集的情况下，我们的模型取得了有竞争力的结果，在 SubTask A（零样本）设定中排名第 6 位，在 SubTask A（单样本）设定中排名第 15 位。

    Jun, 2022

  • 伪对数似然在自然语言评分中的应用

    本文探讨了使用零射击方式相对于微调方法的优势，并通过实验结果表明其在通用常识推理等二选一任务上表现出色。并且，作者认为此种方法的健壮性应从表征组合性的角度进行解释。

    Jan, 2022

  • 小型语言模型也很不错：一项零样本分类的实证研究

    该研究评估了使用不同参数和结构的小型语言模型在零射击文本分类中的性能，并发现小型模型在分类文本方面表现出色，与或超过了更大的模型，这一发现强调了资源高效的小型模型可能为特定的数据分类挑战提供可行的解决方案。

    Apr, 2024