May, 2022

Blackbird的语言矩阵（BLMs）：一种研究神经网络分离泛化能力的新基准

HTML
PDF
TL;DR通过 Blackbird's language matrices（BLMs）的语言数据集测试近期模型的语言掌握和普遍化的能力。我们展示了数据集的逻辑和自动构建数据的方法，以及学习它们的架构。通过变形的数据集和误差分析，我们证明了该任务以及数据集是理解普遍化和抽象化的新的挑战性测试平台。
发现论文，激发创造
  • 现代人工神经网络中的语言泛化和组合性

    该研究回顾了当前深度学习语言处理网络的主要创新，讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化，但也不依赖于系统化的组合规则，这一现象应该引起语言学家和认知科学家的兴趣。

    Mar, 2019

  • 英语语言最小对比基准: BLiMP

    BLiMP是一套挑战集，用于评估语言模型对英语中主要语法现象的理解水平。研究表明，现有模型能够可靠地识别形态对比，但在限定词和否定极性项分布以及提取岛等微妙的语法现象上仍面临挑战。

    Dec, 2019

  • SyGNS: 基于自然语言语义的系统化泛化测试平台

    通过建立基于自然语义的系统化推导测试平台，本文发现：Transformer和GRU模型能够解析包含量词和否定等逻辑表达的句子，且对形式相似但复杂程度不同的句子表现良好，这表明深度神经网络模型能够捕捉组合意义。

    Jun, 2021

  • 在测试语言不常见方面的人工智能性能时，暴露对底层意义的不敏感性

    本研究探讨基于计算方法和大数据的人工智能应用中所使用的大型语言模型的语言表现，着重考察语言表现是否由语言知识所导引。结果发现即便是常规语法结构之外的、不太常见的语言结构也可能导致大型语言模型表现出不足的语言能力，暗示这种类型的语言模型实际上并不像人类一样具有对语言的深入理解。

    Feb, 2023

  • 评估语言模型中的语言推广能力：面向巴西葡萄牙语的数据集

    本研究提出了一种评估方法，针对用于巴西葡萄牙文的语言模型，通过固定的语言格式，考察语言信息的编码方式，评估不同的语言模型在处理语法结构和多词表达方面的泛化能力，解决了语言模型黑盒且缺乏可解释性的问题。

    May, 2023

  • 黑雀语言矩阵 (BLM)，神经网络规则化通用性的新任务：动机和形式规格

    本文提出了一项新任务，即通过模仿人类从复杂数据中提取规则进行类似规则推广的微调任务，以解决当前大型语言模型泛化不足的问题，并提供了相关任务的正式规范和数据生成过程。

    Jun, 2023

  • 透明、来源：评估和解释有真实分布访问的语言模型

    我们提出了一种使用人工制造的类似语言的数据来训练、评估和解释神经语言模型的设置。使用大规模概率语法（基于状态拆分的PCFGs）生成数据，该语法源自大型自然语言语料库，但也可完全控制生成过程。通过比较神经语言建模架构和训练目标对可获取困惑度下界的逼近程度的差异，我们得出了显著的结果。我们的方法还允许直接将学到的表示与底层源中的符号规则进行比较，并尝试了各种用于解释模型行为和学习动态的技术。通过访问底层真实源，我们的结果显示出不同类别的单词在学习动态方面存在明显的差异和结果。

    Oct, 2023

  • 这不是一个数据集：一个用于挑战大规模语言模型的大规模否定评估基准

    大型语言模型在理解否定时表现亚优，本研究通过引入一个大规模自动生成的常识知识数据集，涉及到约40万个描述性句子，其中大约2/3的句子包含否定形式，使用零样本学习方法对现有开源语言模型进行测试，结果表明尽管模型对于肯定的句子有较高准确性，但在否定句子方面存在困难，缺乏深入理解否定的能力。尽管在否定句子上对模型进行微调可以提高其性能，但在处理否定方面仍然存在泛化能力不足的问题，突显出大型语言模型在否定理解和泛化方面仍面临挑战。

    Oct, 2023

  • 表示形式作为语言：一个信息论解释的框架

    通过一种新颖的可解释性方法，该论文使用信息论度量量化了神经模型对输入的表示的结构化程度，从而预测模型的泛化能力，并发现模型的代表性和噪声强度有关。此外，研究还研究了模型大小对表示空间结构的影响。

    Jun, 2024

  • 通过多语言主谓一致探讨句子嵌入中的句法信息

    本研究旨在探讨多语言预训练语言模型在捕捉跨语言的抽象语言表示方面的能力，填补了现有研究中的空白。我们提出了一种新的方法，通过大规模合成数据集和多项选择任务，研究句子中主谓一致的句法现象。研究发现，尽管模型在多语言文本上进行了一致训练，但仍存在语言特定的差异，句法结构并不共享，即使在相关语言之间亦是如此。

    Sep, 2024