ACLOct, 2021

神经语言模型中的词汇习得

PDF
TL;DR研究神经语言模型在训练过程中如何获取单词，并提取 MacArthur-Bates 交际发展清单上 600 多个单词的学习曲线和获取年龄。与儿童的单词获取研究结合，评估 LSTMs、BERT 和 GPT-2 模型的多种预测因素，发现模型对单词频率的依赖程度远高于儿童，但与儿童相似的是，它们在更长的话语中学习单词较慢。同时，模型在训练过程中遵循一致的模式，这些结果为人类语言模型的更类人化语言习得提供了启示。
neural language modelsword acquisitionlearning curvesages of acquisitionword frequency
发现论文，激发创造
  • 语言习得：儿童与语言模型是否遵循相似的学习阶段？

    研究比较 GPT-2 模型和儿童语言习得的性质，发现两者的语言学习趋势相似但也存在差异。

    Jun, 2023

  • 评估神经语言模型作为语言习得的认知模型

    神经语言模型（LM）在许多技术任务上的成功使其潜在相关性作为语言科学理论得以体现，尽管 LM 训练和儿童语言习得之间存在一些明显的差异。本文认为一些用于评估 LM 语法能力的主要基准可能不够严格，并表明基于模板的基准缺乏语言理论和心理学研究中常见的结构多样性。当用小规模数据对儿童语言习得进行建模时，LM 可以轻易地被简单的基准模型匹配。我们提倡使用现成的、经过精心策划的数据集，这些数据集已由大量母语用户进行了梯度可接受性评估，并旨在特别探索语法的结构基础。在这样一种数据集（LI-Adger 数据集）上，LM 在评估句子时与人类语言用户的方式不一致。最后，我们提出了更好地将 LM 与儿童语言习得的实证研究进行联系的建议。

    Oct, 2023

  • 神经语言模型的第二语言习得

    本文研究了神经语言模型的第二语言习得，通过对双语 LM 的训练和分析交叉语言传递，发现在语言迁移配置方面，L1 预训练可以加速 L2 的语言泛化，并且影响泛化的因素非常明显，研究了它们在特定方面的非人类的 L2 习得能力。

    Jun, 2023

  • 人工神经网络对人类语言习得的启示

    通过使用机器学习及自然语言处理技术，研究语言习得过程，探讨如何让模型学习在有限的语言输入下获取语言知识，以验证关于人类语言学习本质的假说。

    Aug, 2022

  • 像婴儿一样：视觉背景下的神经语言习得

    通过实验证明了在多模态环境中进行语言学习可以提高预测准确率，该研究使用了预训练的 BERT 嵌入以及不同语言和模型进行了测试，并得出了这个认识与身处环境相应认知理论相对应的结论。

    May, 2018

  • 人类启发的渐进对齐与比较学习 用于基于语境的词汇习得

    通过比较学习的计算过程，本研究模拟了人类婴儿习得第一门语言的方式，开发了一种用于词汇习得的计算过程，通过筛选和提取共享语言标签的共同信息，并将词汇的习得过程视为信息过滤和符号映射，以实现有效的持续学习。在对照实验中得到的结果显示了这种方法在词汇习得方面的潜力。

    Jul, 2023

  • 深度神经网络训练的下一词预测中自发出现的词类表示

    探讨了人类语言习得中词汇分类的起源是基于先天内在结构还是出于自然学习的能力，利用人工神经网络预测语句中下一个词，揭示了也许由于预测编码和过程，大脑也可能形成抽象的词汇分类，即使其在训练时没有接收到有关词汇分类或语法规则的任何明确信息。

    Feb, 2023

  • 发展性数据课程学习对语法习得的影响

    本研究探讨了语法习得受语言 ' 简易性 ' 和数据来源模态（语音与文本）的影响程度。通过使用 BabyBERTa 作为探针，发现语法习得主要受到语音数据的影响，尤其是通过接触 AO-Childes 和 Open Subtitles 两个训练语料库。研究结果表明，过度接触 AO-Childes 和 Open Subtitles 显著提高了语法习得效果，并通过一项可比较的对照数据集得到验证。这些发现表明，对于习得，关键不在于高效数据所占的比例，而在于将训练步骤分配给此类数据的比例。希望这将促进将更具发展可行性的语言数据（通常更加稀缺）用于增强通用预训练制度的未来研究。

    Oct, 2023

  • 利用分段神经语言模型学习发现、建立和使用单词

    提出了一种分段神经语言模型，它将神经网络的概括能力与发现在未分段的字符序列中存在的类似单词的单元的能力相结合。在视觉上下文的作用下，此模型不仅可以发现单词的含义，还可以学习单词如何组成句子，并提高其预测准确性。

    Nov, 2018

  • 单个儿童语言输入对可学习性的系统调查

    该研究探讨了使用单个儿童语言输入子集训练语言模型，以形成有意义的句法和语义表征，发现这种方法的学习性强度和可靠性。

    Feb, 2024