ACLApr, 2021

Morph Call: 探究多语种 Transformer 的形态句法内容

PDF
TL;DR本研究提出了 Morph Call，它是针对四种不同形态的印欧语言（英语，法语，德语和俄语）的 46 个探测任务套件，使用诱导句子扰动的检测方法，在神经元，层和表示水平上分析了四个多语言 transformers 的形态句法内容，其中包括其不太被探究的蒸馏版本，并研究了精调 POS 标记对模型知识的影响。研究结果表明，精调可以改善和降低探测性能，并改变形态句法知识在模型中的分布。代码和数据公开，希望填补 transformers 的研究空白。
transformer-based language modelsnlplinguistic phenomenamorphosyntactic propertiesprobing tasks
发现论文，激发创造
  • 多语言 BERT 模型的词形句法探测

    本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。

    Jun, 2023

  • LINSPECTOR：用于词表示的多语言探针任务

    该研究介绍了在 24 种语言中引入 15 种类型级别的探究任务，测试诸如情况标记、单词长度、形态标记计数和伪词识别等特定语法特征和语言提示的分类任务，以便探索词嵌入或黑盒神经模型的多语言语言线索，发现许多探究测试具有与子任务的显着高正相关性，特别是对于形态丰富的语言。

    Mar, 2019

  • 评估基于 Transformer 的多语言文本分类

    研究探讨了 NLP 工具在不同语言的应用情况以及针对语言结构差异进行的分析，指出哪些变量最影响语言建模的效果，通过计算词序和形态相似性指数等方法进行实证研究，最后通过多分类文本分类实验验证了研究结论。

    Apr, 2020

  • 百万级跨语言条款级联结构转换器

    本文介绍了我们在 MRL 2022 胜出的系统，主要探索了基于 transformers 的两种方法：从头训练模型结合数据增强以及在多语言词形态任务中进行前缀调校的迁移学习，其中数据增强显著提高了大多数语言的词形和重构任务的性能，而前缀调校在预先训练的 mGPT 模型上对低数据量和多语言环境中的分析任务进行了适应，结果显示 transformers 与数据增强在词形和重构任务方面取得了最佳结果，而在分析任务方面，基于 mGPT 的前缀调校取得了最高结果。

    Nov, 2022

  • 神经机器翻译中目标语言形态的建模：策略比较

    本文研究机器翻译中针对形态丰富的目标语言面临的挑战以及采用词元标记策略和语言学知识进行目标语言语言建模的实验，结果表明词汇量限制、语法一致性和语言关联性问题仍然是机器翻译需要解决的重要问题。

    Mar, 2022

  • 基于形态学建模的低资源神经机器翻译

    在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

    Apr, 2024

  • 同一神经元，不同语言：探究多语言预训练模型中的形态语法

    该研究采用神经元级别探测器，在包括 43 种语言的 14 个形态句法类别上进行了大规模的实证研究，并发现了多语言预训练模型的跨语言重叠是显著的，但其范围可能因语言接近性和预培训数据的大小而异，支持其能够对语法进行语言通用的抽象。

    May, 2022

  • 探索语言揭示词形概括

    跨语言计算建模的形态变化研究通常采用与语言无关的数据分割算法。本文采用特定语言的探测器来测试形态变化的一些普遍规律。通过在英语、西班牙语和斯瓦希里语这三种形态学上有明显区别的语言上测试这些探测器，我们发现了三种主要的形态变化系统在屈折类和特征集上都采用了不同的普遍规律策略，无论是在拼写还是在音标输入上。

    Oct, 2023

  • 利用形态信息增强深度神经网络

    通过将词汇学特征添加到 LSTM 和 BERT 模型中，我们比较了多种语言中命名实体识别、依赖解析和评论过滤任务的基线和改进模型表现，结果显示，根据所添加的特征的质量和任务的不同，这些特征对于 LSTM 的 NER 和 DP 任务表现提升效果较好，而不太适用于 CF 任务；对于 BERT，只有在高质量特征时才会对 DP 表现有所改善，而且相对于强大的多语言 BERT 模型，语言特异性 BERT 变体的改善程度较小。

    Nov, 2020

  • 神经机器翻译模型学到了什么关于形态学？

    本文研究神经机器翻译的表示，探讨其对源语言和目标语言的理解以及对单词结构学习的影响，发现了一些关键参数对表示的影响

    Apr, 2017