ACLMay, 2020

在没有统一形态的情况下的屈折变化：编码器 - 解码器神经网络在德语复数中的认知模型的局限性

PDF
TL;DR通过研究人类和 Encoder-Decoder 模型在英语和德语动词词形和名词复数形式的记忆和推广的行为，我们发现现代神经模型可能仍然难以适应少数种类的推广。
发现论文，激发创造
  • 编码 - 解码神经网络作为英语过去时屈折的认知模型

    本文研究了现代编码器 - 解码器模型在处理英文过去式方面的表现，发现其表现不如传统的基于规则的模型，因此我们认为目前还没有足够的证据证明神经网络对于此任务的性能很好。

    Jun, 2019

  • 评估变换器神经网络作为英语过去时屈折的认知模型

    本研究通过训练一组不同参数设置的 Transformer 模型，在英语动词过去式词形成任务上取得了高精度，进一步暗示了模型具有某种程度的抽象学习能力，但其表现不符合人类数据，可能不是一个好的认知模型。

    Oct, 2022

  • 神经网络作为屈折的认知模型的全面对比

    本文研究神经网络在人类推断词形变化时的可行性，通过英语过去式和德语数词变化等两个重要认知任务的实验，发现变压器可能比 LSTM 更好地解释了人类的行为，并且已知增加词形变化准确性的 LSTM 功能并不总是导致更符合人类行为的结果。

    Oct, 2022

  • 默认不适用的情况：德语复数系统的案例

    使用三种普通的分类方法（最近邻算法，Nosofsky 的‘广义上下文模型’和标准的三层反向传播网络）对德语单数的音系表达进行预测，虽然这些都是绝对的‘最小’模型，但是它们在正确预测复数类别方面表现出色。最近的邻居预测了 CELEX 数据库中 24,640 个名词的正确复数类别，三层反向传播网络在 8,598 个（非化合物）名词的子集上表现最好。与 Marcus 等人提出的混合模型相比，在该数据集上性能更优。

    May, 1996

  • 尚未达到：将类比模式与编码器 - 解码器网络相结合，实现认知合理的屈折变化

    本文研究了结合预编译的类比模式和编码器 - 解码器架构的技术，旨在在 SIGMORPHON 组织提供的数据上验证其预测非单词的屈折形式的效果，结果表明，在网络架构中加入类比模式有助于模仿说话者的预测。

    Aug, 2021

  • 问答生成模型中屈折形式是冗余的

    本文研究了现有 RNN-based 和预训练语言模型在提问生成中使用 encoder-decoder 架构的性能问题，在此基础上提出了利用词形变换来改善提问生成性能的方法，并在 SQuAD 和 MS MARCO 数据集上进行实验证明，相比对应基线方法，改进后的方法在 BLEU、ROUGE-L 和 METEOR 指标以及时间成本方面都有显著提高。

    Jan, 2023

  • 数论与语言学结合：使用 2 进制度量模拟跨 1497 种语言的名词复数形式

    使用 p-adic 度量作为线性回归问题的简单机器学习模型，在印欧语系、南岛语系、新几内亚翻译语、汉藏语系、尼洛撒哈拉语系、奥托梅安格语系和大西洋刚果语系等语系上取得比欧几里得空间回归模型更好的性能，但目前尚无足够证据支持模拟不同名词词形变化为 P-adic 邻域，即使在印欧语言中也是如此。

    Oct, 2022

  • 不要忘记长尾词！双语词库归纳中形态学归纳的全面分析

    本研究探讨双语词典学习是否有能力学习罕见的语法变形，并证明通过在训练时添加简单的形态学约束可以提高双语词典学习的性能。

    Sep, 2019

  • 用屈折变化打击语言歧视

    通过扰动词的屈折形态，制作可信的语义相似的对抗样本，揭示出仅在标准英语语料库上进行训练的神经网络对非标准语言背景下的少数族裔存在歧视。进一步表明，在对单一历元进行对抗调整并不会牺牲清洁数据的性能，反而能显著提高模型的鲁棒性。

    May, 2020

  • 低资源形态变化的极限探究

    提出一种针对低资源语言的自动词形变化生成方案，在神经网络方法、注意力机制、跨语言转移学习等方面做了改进并实现了 15% 的性能提升。发现了语言类别相似和通用表示是跨语言转移学习成功的关键因素。

    Aug, 2019