Nov, 2022

基于语料库的语法中曝露与出现：在 35 种语言中的计算实验

PDF
TL;DR本文使用计算实验来探讨暴露在实际语言使用中对于构式语法出现的作用，并实验证明词汇表的增长速度比语法更快，而且语法的增长速度并不依赖于词汇表的增长速度。同时，面向特定寄存器的语法在暴露量增加时会收敛到更相似的结构中，这意味着随着曝光量的增加，特定寄存器的影响变得越来越不重要。最后，本文提出了一个计算模型，包括构式语法的出现和未压缩。
发现论文，激发创造
  • 基于语用的语法类别学习

    通过一系列代理实验证明，基于习惯和互动的选取和对齐方式，能够推动语言交互更自然的语法范畴与语法模式的形成。

    Apr, 2022

  • 构式语法与语言模型

    深度学习和自然语言处理在构造语法研究中产生了强大的模型，通过训练填空问题，显示了对丰富的语言信息和结构化知识的访问，本文旨在探索计算方法和构造语法研究之间的协同关系，并提供了深度学习模型的综合概述，以促进这两个领域的研究者之间的合作。

    Aug, 2023

  • 发展性数据课程学习对语法习得的影响

    本研究探讨了语法习得受语言 ' 简易性 ' 和数据来源模态（语音与文本）的影响程度。通过使用 BabyBERTa 作为探针，发现语法习得主要受到语音数据的影响，尤其是通过接触 AO-Childes 和 Open Subtitles 两个训练语料库。研究结果表明，过度接触 AO-Childes 和 Open Subtitles 显著提高了语法习得效果，并通过一项可比较的对照数据集得到验证。这些发现表明，对于习得，关键不在于高效数据所占的比例，而在于将训练步骤分配给此类数据的比例。希望这将促进将更具发展可行性的语言数据（通常更加稀缺）用于增强通用预训练制度的未来研究。

    Oct, 2023

  • 建构语法为神经语言模型提供独特的洞见

    本研究基于构式语法，对大型预训练语言模型（PLMs）在构式结构和含义方面的性能进行了探究，并提出了未来研究的建议和挑战。

    Feb, 2023

  • 探索构式的结构：一个计算语言学的 CxG 的分析

    通过学习构造语言学，将无人监督语法与语言学视角相结合，形成计算构造语法的任务，生成构建词的语料库；并且，将学习到的构建词的 Token 和类型等推广到不同的社会和地理语言方言的变异模式上的一项研究工作。

    Jan, 2023

  • 曝光偏差的重要性：语言生成中误差累积的模仿学习视角

    本文探讨语言生成模型存在的问题，阐述了模型脆弱性产生的原因，并从模仿学习的角度分析暴露偏差。作者证实了该假设，通过分析误差积累的原因和导致质量低下的积累。

    Apr, 2022

  • 语法形式的演化：一些数量化方法

    通过静态和动态模型，我们使用统计物理学的概念阐述了语法形式演化的两种主要机制：传承机制和接触机制，静态模型强调规则和例外的相对数量，而动态模型则侧重于非正常形式的出现。

    Feb, 2023

  • 无需大量监督即可出现语法

    本文探讨如何在没有专门的句法指导的语料库中从语料学习句法的可行性，以语料库的观察结构为基础，通过定义和隔离语法和意义 / 语用学信息，我们描绘了自主语法的形式特征，并展示了通过简单的优化过程搜索基于语法的词汇类别，而无需对模型形式做任何先验假设的可能性。

    May, 2020

  • 自动提取语法知识对 L2 语言学习的教师感知

    本研究介绍了一个自动框架，旨在通过自动发现和可视化语法的不同方面来促进语言教学，其中从自然语料库中提取描述单词排序、一致性、语法标记或词形成及词汇学习的描述，并显示例证。作者在印度语言 Kannada 和 Marathi 上应用此方法，以评估其实用性，并邀请北美的语言教育家对这些语言进行手动评估。教师们认为这些材料有趣，可以用作自己的课程准备或学习者评估的参考资料。

    Jun, 2022

  • 预训练模型中非受控的词汇暴露导致组合泛化被高估

    通过对 Kim and Linzen（2020）的 COGS 基准进行测试，我们发现两种修改后的评估设置均导致 T5（Raffel et al.，2020）的泛化性能降低，暗示以前报道的结果由于预训练期间未受控制的词汇暴露而被高估。

    Dec, 2022