ACLMay, 2023

用 BERT 模型建模第二语言习得：SLABERT Talk Pretty One Day

PDF
TL;DR利用 Transformer-based SLA 模型研究母语语言 (L1) 对于英语作为第二语言 (L2) 学习的积极和消极转移，使用一个包括五种语言的多语言数据集，表明语言家族距离预测了更多的负面转移并且口头语言数据比脚本语言数据更有助于语言习得。
second language acquisitioncross-linguistic transfernegative transferchild-directed speechtransformer-based models
发现论文，激发创造
  • 神经语言模型的第二语言习得

    本文研究了神经语言模型的第二语言习得，通过对双语 LM 的训练和分析交叉语言传递，发现在语言迁移配置方面，L1 预训练可以加速 L2 的语言泛化，并且影响泛化的因素非常明显，研究了它们在特定方面的非人类的 L2 习得能力。

    Jun, 2023

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 先对齐，再预测：理解多语言 BERT 的跨语言能力

    使用一种新的层摘除技术和模型内部表示的分析方法，我们发现多语言 BERT 可看作两个子网络的堆叠：一个多语言编码器和一个任务特定的语言无关的预测器。编码器对于跨语言传递非常关键，在微调过程中大部分不变，而任务预测对传递影响很小，可以在微调期间重新初始化。

    Jan, 2021

  • MOSLA 计划：记录第二语言习得的每一刻

    项目 MOSLA 是一个长期的、多模态的、多语言的和可控的数据集，通过在线教学记录参与者学习阿拉伯语、西班牙语和汉语的整个过程，并从未经注释的多模态数据中自动检测屏幕上的重点领域。该数据集可用于 SLA、熟练度评估、语言和语音处理、教学法以及多模态学习分析等广泛应用。

    Mar, 2024

  • 基于 BERT 的多语种口语理解中，语言边界能模糊到何种程度？

    本文提出了一种基于 BERT 的多语种口语理解模型，能够跨越远程语言组进行知识转化，但与理想的多语种性能之间仍然存在差距。此外，我们还提出了一种新的基于 BERT 的对抗模型架构，以学习多语种口语理解的共享和特定语言表示。实验结果表明，所提出的模型能够缩小至理想的多语种性能之间的差距。

    Nov, 2020

  • 所知多语言影响学习多语言的方法：语言特性对多语言文本转换的影响

    本文在分析预训练 mT5 模型对 90 种语言对之间交叉语言联系学习时，发现源语言和目标语言的语法、形态和音韵相似度对于跨语言传递的表现具有良好的预测性，可望提高零样本性能表现。

    Dec, 2022

  • 基于源批判的强化学习，用于将口语语言理解迁移到新语言

    本研究旨在通过使用特定领域的平行语料库进行语言转移，利用增强学习方法进一步微调翻译器，从而在中英语言转移方面取得显著的成功，提高了相对于传统方法的领域分类准确率 22%，槽提取 F1 得分 71% 以上。

    Aug, 2018

  • BERT 多语言模型的时间？分离跨语言传输的关键要素

    该论文在多语言语言模型上进行了大规模实证研究，并发现词嵌入的对齐程度与零 - shot 迁移的性能密切相关，因此需要在多语言模型中专门改善词嵌入的对齐程度。

    Oct, 2021

  • 多源跨语言模型迁移：学习共享的内容

    利用生成对抗网络和无监督多语言嵌入，结合多源语言训练数据的多语言转移学习方法，在多语言文本分类和序列标记任务中实现 target 语言的显著性能提升。

    Oct, 2018

  • 跨语言口语理解的迁移学习

    本文介绍如何通过在多语言之间传递数据以减少成本，从而提高对新语言的口语理解系统。我们的多任务 SLU 框架在不同语言上经过评估，结果表明我们的单语言模型优于最先进的技术，我们可以大大减少引导新语言口语理解系统所需的数据量，同时，虽然多任务训练比单独训练要好，但不同的权重转移设置可能对不同的 SLU 模块最有效。

    Apr, 2019