Jul, 2022

神经语言习得与自然语言习得相似吗？一项按年代顺序进行的探究研究

PDF
TL;DR本文介绍了探测方法学，通过使用外部分类器和统计分析，可以获得内层神经网络中存储的语言现象的部分表示。我们对多个 transformer 英语模型进行了时间顺序探测研究，并提供了这种探测研究的开源框架。结果表明，语言信息在训练的早期阶段就被获取，同时这些模型能够捕捉各种级别语言的各种特征，包括语态、句法和语篇，但有时他们无法完成一些容易的任务。
neural networklanguage modelsprobing methodologytraininglinguistic theory
发现论文，激发创造
  • 神经语言模型的语法学习轨迹

    本文探讨了神经语言模型学习语言现象（linguistic phenomena）的路径（learning trajectories），发现不同的模型尽管最终性能不同，但其学习习惯（inductive bias）相似，且在不同的学习阶段表现出相似的 “成长” 阶段，研究这些阶段可以帮助了解神经语言模型中的语言表示（linguistic representation）。

    Sep, 2021

  • 探究预训练语言模型中的语言信息以进行逻辑推理

    本文提出了一种方法来探测在预训练语言模型中进行逻辑推理需要的语言现象，发现预训练语言模型对于一些推理所需要的语言信息进行了编码，同时也发现了有一些信息的编码比较弱，但是预训练语言模型通过微调能够有效地学习到缺失的语言信息。这些结果为语言模型作为支持符号推理方法的语义和背景知识库的潜力提供了有价值的见解。

    Dec, 2021

  • 语言习得：儿童与语言模型是否遵循相似的学习阶段？

    研究比较 GPT-2 模型和儿童语言习得的性质，发现两者的语言学习趋势相似但也存在差异。

    Jun, 2023

  • 揭开语言习得的黑盒子

    通过序列记忆和分块构建的最小认知体系架构用于学习语言，替代了使用深度学习的大型语言模型，并且能够从零开始学习人工语言，并提取支持学习的语法信息。研究表明这种简单的架构的强大性，并强调序列记忆作为语言学习过程的关键组成部分的重要性，这可能解释了仅人类发展了复杂语言的原因。

    Feb, 2024

  • 神经语言模型的语言学分析

    本文探究了神经语言模型（NLM）在调整细节后所学习到的语言知识及其对于多种分类问题的预测影响，结合多重探测任务发现，尽管 BERT 能够编码多种语言特征，但在特定的下游任务训练后往往导致相关信息丢失，而 BERT 对于不同语言属性的编码能力将正面影响它的预测能力。

    Oct, 2020

  • 探究时间跨度：RoBERTa 知道什么以及何时知道？

    探究语言模型中不同知识类型在 (pre) training 时学习的时间，发现语言知识快速、稳定、跨领域学习；事实和常识知识较慢、受领域限制；而推理能力一般不稳定从而建议研究人员使用更有效的方法加快必要知识的学习。

    Apr, 2021

  • 自然语言下形态 - 句法因果分析

    本文提出了一种自然语言中以输入层面干预的方法，使用这种方法可以对神经网络模型进行因果探究，实验结果表明，这种自然干预的方法可以稳定地估算出各种语言属性的因果影响，这在分析预训练模型时非常重要。

    May, 2022

  • 探究语言系统性

    本文讨论深度自然语言理解模型的系统性问题，通过在自然语言推理（NLI）中进行一系列实验，证明了一些 NLU 系统虽然不具备系统性，但仍能够达到高的整体表现。

    May, 2020

  • 人工神经网络对人类语言习得的启示

    通过使用机器学习及自然语言处理技术，研究语言习得过程，探讨如何让模型学习在有限的语言输入下获取语言知识，以验证关于人类语言学习本质的假说。

    Aug, 2022

  • 通过神经语言模型探索软件自然性

    本文探讨了利用预训练的基于 transformer 的语言模型来对代码进行分析任务的能力，通过对 transformer-based language model 进行 AST 标记任务，得出结论表明其在此任务上的表现较好，并在软件漏洞识别任务中与依赖于编译器的基于图形的方法相比，取得了可比拟的成果。

    Jun, 2020