Apr, 2021

AM2iCo：使用对抗性示例在低资源语言中评估单词含义的上下文

HTML
PDF
TL;DR本研究提出了AM2iCo用于多语言和跨语言的词汇语义评估，旨在研究最先进的预训练文本表示模型在理解跨语言环境下的词意识别方面的能力，结果显示当前预训练编码器表现与人类性能存在明显差距，尤其体现在低资源语言和与英语不同的语言上。
发现论文，激发创造
  • 如何（正确地）评估跨语言词向量：关于强基线、比较分析及一些误解

    本文基于多语言词嵌入（CLE）并从多个方面对CLW模型进行了全面评估，提出了优化CLE模型的方法及对现有基线进行重新评估的重要性。

    Feb, 2019

  • XTREME: 用于评估跨语言通用化的大规模多语言多任务基准数据集

    该论文介绍了一个名为XTREME的跨语言多任务基准测试，它可以在40种语言和9个任务上评估多语言表示的跨语言泛化能力，研究表明，跨语言模型在句法和句子检索任务上的性能仍有相当大的差距，该基准测试旨在促进跨语言学习方法的研究。

    Mar, 2020

  • 用语义类别探测量化单词表示的情境化

    通过研究BERT中的单词上下文含义的量化，我们展示了预训练语言模型如何解释单词在上下文中的重要性，结果显示顶层语义表示对于任务的推断非常准确，底层语义表示更具可转移性。

    Apr, 2020

  • 探究预训练语言模型的词汇语义

    本研究针对6种不同语言和5种不同词汇任务，对单语和多语言源LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

    Oct, 2020

  • 给阿姆哈拉语引入各种语义模型: 多项任务和数据集上的实验和评估

    本文介绍了针对阿姆哈拉语的不同语义模型训练方法，并将其用于自然语言处理任务。经实验，我们发现基于 RoBERTA 的语境嵌入法的新模型表现优于旧的预训练的多语言模型和基于 word2Vec 模型的词嵌入法的新模型。

    Nov, 2020

  • VAST：用于上下文化语言模型的情感评估语义测试

    本文提出了一种新的内在评估任务VAST，可以用来评估基于上下文的词嵌入(CWEs)的效果，研究了上下文语境、分词、语言模型等因素对CWEs的影响，并且该评估方法也可以用于7种不同的语言；通过实现对GPT-2的测试，发现通过对其中一些神经元的操作可以过滤掉更多的非语义相关的信号，从而提升词语语义相关性的相关度；最后，通过对词相似性的任务以及词汇关联偏差测试的研究表明，VAST在LM语义理解方面有很好的效果。

    Mar, 2022

  • BabelBERT: 大规模多语言Transformer遇上大规模多语言词汇资源

    本文通过在50种语言中使用BabelNet这一丰富的跨语言单词知识库，将大规模多语言Transformer（MMT）暴露于多语言词汇知识，并利用对比目标指导下的词汇专业化过程，大幅提高了双语词汇归纳、跨语言单词相似性和跨语言句子检索等交叉语言词汇任务的性能。同时，实验还表明，相对于语言多样性，MMT的预训练质量对性能有更大的影响。

    Aug, 2022

  • 多语言自然语言处理中的评估实践：机器翻译能否替代人工翻译？

    对多语言语言模型进行评估，提出可靠的评估实践方向，通过机器翻译研究其在低资源语言上的性能，并发现简化的基准模型能够取得相对强的性能表现。

    Jun, 2024

  • 双向Transformer：（西班牙语）上下文中的多义词的表示：新的词汇资源和实证分析

    通过比较多种BERT-based语言模型中的语境化词嵌入，我们评估了西班牙语歧义名词的语义表达。我们开发了一个新颖的句子数据集，并收集了人类的相关性判断。结果显示，这些语言模型的语义表达在人类判断中捕捉到一些差异，但不能达到人类水平。与英语不同，我们发现在西班牙语中，模型规模与性能之间没有相关性。此外，我们还发现了目标名词消歧的陈规轨迹，并在英语中部分复制了这一结果。我们贡献了（1）一组包含人类相关性判断的西班牙语句子刺激数据集，以及（2）认识到语言模型规格（结构，训练方案）对语境化嵌入的影响。

    Jun, 2024

  • 提取单语和跨语言上下文中的词语表示

    本研究解决了词语在上下文中的表示不足的问题，提出了一种从预训练的掩码语言模型中提取单语和跨语言词语表示的方法。该方法通过自注意力机制结合模型的不同隐藏层输出，避免了人工标注语料和模型参数更新的需要，并在单语和跨语言任务中均显示出竞争力和显著提升。

    Sep, 2024