Oct, 2020

跨语言迁移学习用于复杂词汇识别

PDF
TL;DR本研究利用零样本、一次样本和少量样本学习技术，结合自然语言处理的最先进解决方案，通过使用四种不同语言（英语、德语、西班牙语和法语）的 CWI 共享任务数据集，证明了提出的模型可以在多语言环境中学习复杂单词的特征，并在零样本学习场景下在英语、德语和西班牙语三种语言中的宏 F1 分数上超过了现有的跨语言结果。同时，我们的模型也在德语（0.795 宏 F1 分数）的单语上表现出色。
complex word identificationzero-shot learningmultilingual environmentnatural language processingstate-of-the-art solutions
发现论文，激发创造
  • 跨多语言的复杂词辨识强基线

    本文介绍了关于复杂词汇辨识（CWI）的研究，包括单语和跨语言的模型，并使用神经网络实现了多任务学习，取得了可比和更好的成果，此外还分析了数据标注不一致的原因。

    Apr, 2019

  • 跨语言和多领域单语环境下的复杂单词识别领域自适应

    本文提出一种基于领域适应的复杂词识别训练技术，以改善目标字符和上下文的表示方式，并建议使用文本简化作为补充的词汇复杂度预测技术，从而在多种语料库和领域上提高了模型精度，并获得了最新平均绝对误差结果。

    May, 2022

  • 2018 年复杂词汇识别共享任务报告

    本篇论文报告了第二次 Complex Word Identification (CWI) shared task 的结果，这是 BEA 与 NAACL-HLT'2018 会议合作的一部分。该任务旨在识别复杂词语，分为 4 个轨道，包括英语、德语、西班牙语和多语种，涵盖了两种任务：二元分类和概率分类。11 个团队提交了论文，详细描述了其结果和方法。

    Apr, 2018

  • 复杂词汇识别：数据注释和系统性能挑战

    本研究重新审视复杂词汇鉴别问题，使用集成分类器研究计算方法能否有效区分复杂和非复杂词汇，并分析分类性能以了解词汇复杂性的挑战性原因，发现大多数系统在 SemEval CWI 数据集上表现不佳，其中一个原因是人类标注方式。

    Oct, 2017

  • 不是所有的都适合：个性化词汇难度模型的案例

    本文使用新颖的主动学习框架，并发布了一个复杂度注释和模型的数据集，以作为进一步研究的基准，证明了针对个人的模型最适合预测个人读者的词汇难度。

    May, 2022

  • 使用 Likert 量表数据进行词汇复杂度预测的新语料库 CompLex

    本文介绍了第一个英语数据集，以连续的词汇复杂度预测为目标，通过使用一种 5 点 Likert 量表方案，注释文本中来自三个领域的复杂单词并得出： 9,476 个句子的语料库。

    Mar, 2020

  • UnibucKernel: 用于复杂词语识别的基于核的学习方法

    本文利用基于核函数的学习方法相结合的特征提取方法来进行 2018 年复杂单词识别 (CWI) 共享任务，并且在英语维基百科数据集上获得了较好的结果.

    Mar, 2018

  • MCL@IITK 在 SemEval-2021 任务 2 中：使用增强数据、信号和变压器进行多语言和跨语言上下文单词消歧

    本文介绍了解决 SemEval 2021 任务 2 的方法，即多语言和跨语言上下文词义消歧。通过使用预训练的基于 Transformer 的语言模型，包括 ELECTRA 和 ALBERT，对英语任务和 XLM-R 对所有其他任务进行微调，通过添加信号和数据增强来提高性能，在 Multilingual 任务中取得强的性能，在 Cross-Lingual 设置中实现零射击方法，使用我们的多语言模型，后者表现略好。

    Apr, 2021

  • 代码切换语言识别更加困难

    通过建立代码切换语料库的应用，我们研究了代码切换语言识别，考虑到多种语言和较简单的模型架构以实现更快速推理。我们将任务重新定义为句子级多标签标注问题，以使其更易处理，并提出反映所需性能的度量指标。我们通过实证实现表明当前的方法都不足够，并在这一领域提供未来工作的建议。

    Feb, 2024

  • 通过两阶段对比学习提高单词翻译

    本文提出了一个稳健且有效的两阶段对比学习框架，旨在弥合不同语言之间的词汇鸿沟，其中运用了双语词典归纳、交叉语言映射等方式，从而成功提高了跨语言单词翻译的准确率。

    Mar, 2022