Jun, 2023

黑雀语言矩阵 (BLM)，神经网络规则化通用性的新任务：动机和形式规格

PDF
TL;DR本文提出了一项新任务，即通过模仿人类从复杂数据中提取规则进行类似规则推广的微调任务，以解决当前大型语言模型泛化不足的问题，并提供了相关任务的正式规范和数据生成过程。
fine-tuninggeneralizationlanguage modelsrule-based generalizationanalytic intelligence
发现论文，激发创造
  • Blackbird 的语言矩阵（BLMs）：一种研究神经网络分离泛化能力的新基准

    通过 Blackbird's language matrices（BLMs）的语言数据集测试近期模型的语言掌握和普遍化的能力。我们展示了数据集的逻辑和自动构建数据的方法，以及学习它们的架构。通过变形的数据集和误差分析，我们证明了该任务以及数据集是理解普遍化和抽象化的新的挑战性测试平台。

    May, 2022

  • 基于特征的通用预测模型：感知和抽象推理的统一

    人类智能的一个特征是能够从有限的经验中推断出抽象规则，并将这些规则应用于陌生情境。本研究介绍了一个使用特征检测、仿射变换估计和搜索的算法方法来进行规则检测和应用，并在简化版的 Raven's Progressive Matrices 任务中展示了模型具有类似人类水平的一次性学习和符号推理能力。

    Mar, 2024

  • 让大型语言模型能够从规则中学习

    通过从详细的规则中提取知识并显式编码到大型语言模型的参数中，我们提出了一种新的学习范式，即规则蒸馏，并证明这种方法在样本大小和泛化能力方面比基于示例的学习更加高效。

    Nov, 2023

  • BIRB：生物声学信息检索的泛化度量基准

    应对训练和部署条件的差异（例如分布偏移或对全新类别的泛化）对于机器学习模型在实际应用中至关重要。本研究提出了一个复杂的基准测试集 BIRB，以检索从大型公众科学语料库中经过被动记录的数据集中的鸟类声音。通过使用表示学习和最近质心搜索的基线系统，我们的实证评估和分析展示了开放性的研究方向，同时也建议 BIRB 作为更真实、更复杂的基准测试集，来推动对于分布偏移鲁棒性和机器学习模型泛化的进展。

    Dec, 2023

  • 结构化、灵活、鲁棒：针对超出分布推理任务对大型语言模型进行基准测试和改进，以实现更类似于人类的行为

    人类语言在思维和学习结构方面发挥重要作用。本文提出了一个挑战测评与深度学习语言模型相比人类表现的基准，并通过提供结构化符号推理模块来拓展深度学习语言模型，以使其更符合人类推理。实验表明，在语言表达能力、泛化能力等方面，人类远远优于 LLMs，这说明混合 AI 模型具有更接近人类推理的潜力。

    May, 2022

  • 基于场景语境的系统化概括语言理解基准测试

    本文介绍了一个新的基准测试 gSCAN，用于评估位于语言理解中的组成泛化，在语言描述中使用诸如 “在摩天轮旁边向粉色布朗托蜥蜴问候” 等常见词汇，并将其用于语言理解任务。测试发现，在需要系统的组成规则的情况下，强大的多模态基线模型和最先进的组成方法在大多数情况下都会明显地失败。

    Mar, 2020

  • 抽象视觉推理模型中的泛化和知识迁移

    研究在抽象视觉推理领域中，深度神经网络的泛化和知识重用能力，通过使用 Raven's Progressive Matrices（RPMs）作为评估抽象视觉推理能力的基准任务。通过研究两种知识转移场景，介绍了 Attributeless-I-RAVEN 和 I-RAVEN-Mesh 两个数据集，以及一种名为 PoNG 的新型神经架构，用于解决抽象视觉推理任务。

    Jun, 2024

  • 相似性能下的 BERT 模型泛化能力差异大

    本研究研究了同一神经网络架构在同一数据集上多次训练后是否在不同运行中进行相似的语言概括，通过在 Multi-genre 自然语言推理（MNLI）数据集上微调 100 个 BERT 实例并在评估自然语言推理中的句法概括的 HANS 数据集上对它们进行了评估，这类变异很可能是由于在局部极小值处的神经网络中出现的损失函数梯度等的不同选择而存在的，而减少变异可能需要具有更强归纳偏差的模型。

    Nov, 2019

  • RuleBert: 针对预训练语言模型的软规则教学

    本研究通过教授 PLMs 如何使用软 Horn 规则来提高其推理任务的性能，并通过一个分类任务和损失函数来辅助训练，从而实现了高精度的推理。

    Sep, 2021

  • 学习和评估通用语言智能

    我们定义语言智能为利用先前获得的语言词汇、句法、语义和语用约定知识的能力，以便快速适应新任务。通过一系列实验来评估最先进的自然语言理解模型，以此定义我们的标准，并提出了一种新的评估方法，基于测试数据的在线编码，衡量现有代理（模型）学习新任务的速度。我们的研究发现，虽然现有模型在许多任务上具有广泛的推广能力，但仍需要大量域内训练示例，并且容易发生灾难性遗忘。此外，我们发现，我们的模型远未解决一般任务（例如文档问答），而是过度拟合了特定数据集的怪癖。最后，我们讨论了缺失的部分，并猜测如何在通向一般语言智能的进程中取得进展。

    Jan, 2019