Aug, 2023

幼龄 BERTa：利用幼儿 BERTa 进行语法学习和语言理解

PDF
TL;DR我们展示了 ToddlerBERTa，一种类似 BabyBERTa 的语言模型，通过五种不同的具有不同超参数的模型来探索其功能。在 BLiMP、SuperGLUE、MSGS 和 BabyLM 挑战中的 Supplement 基准上评估，我们发现较小的模型可以在特定任务中表现出色，而较大的模型在大量数据上表现良好。尽管使用较小的数据集进行训练，ToddlerBERTa 表现出令人称赞的性能，与最先进的 RoBERTa-base 相媲美。该模型展示了强大的语言理解能力，甚至在单句预训练下与利用更广泛的上下文信息的基线模型相竞争。我们的工作提供了有关超参数选择和数据利用的见解，促进了语言模型的发展。
发现论文，激发创造
  • 婴儿的共认识：利用大型语言模型提升小型模型的推理能力

    通过使用 CoThought 流水线，我们可以有效地训练较小的 BabyLM 语言模型，从而利用 LLMs 的上下文学习能力，将小于 100M 的数据集转变为适用于语言学习者的任务导向的可读文本，经 RoBERTa 的预训练后，BabyLM 在多项语言学、NLU 和问答任务中表现优越，超过 RoBERTa-base 的性能 3 个点以上，显示出更好的上下文信息提取能力。

    Aug, 2023

  • 信息过载：为 BabyLMs 保持简单的训练

    荷兰格罗宁根大学对 BabyLM 挑战的工作细节。通过简单 - 复杂的策略，我们研究了语境大小、词汇量和数据的总体语言复杂性等方面，发现只有语境大小对训练语言模型有真正的益处。然而，仅仅改变语境大小就让我们在（Super）GLUE 任务上平均提升 2 分，MSGS 任务上提升 1 分，BLiMP 任务平均提升 12%。我们的限制语境模型胜过了使用 10 倍数据训练的基准模型。

    Nov, 2023

  • 使用类人开发数据文集预训练 LLMs

    利用与儿童所见的单词数量大致相同的单词数量，我们对大型语言模型进行预训练和评估，以学习上下文词表示，其中比较了不同架构、不同训练轮次的性能变化以及与任务组织者给出的 RoBERTa 基准的训练稳定性和可复现性。

    Nov, 2023

  • 迷你心智：探索 Bebeshka 和 Zlata 婴儿模型

    在这篇论文中，我们描述了 Lyon 2 大学参加 BabyLM 竞赛 Strict-Small 赛道的情况。我们采用架构搜索的方法，在数据集上最小化掩码语言建模损失，并引入了两种小型语言模型进行评估。尽管比基准模型规模小一半，我们的模型性能相当。我们进一步研究了小规模语言模型在涉及道德判断的任务中的适用性，并将它们的预测与人类价值观相一致。这些发现突显了小型语言模型在解决实际语言理解任务中的潜力。

    Nov, 2023

  • BERT 之后：其他木偶对语言的理解

    利用 oLMpics 基准和心理语言学探测数据集，我们对包括 T5、BART 和 ALBERT 在内的 29 个模型进行了多样化的分析。结果表明，这些模型都无法以零样本的方式解决组成性问题，并且全局模型决策也不能预测模型的语言能力。

    May, 2022

  • BAMBINO-LM：（双语）人类灵感的 BabyLM 连续预训练

    在这篇论文中，我们研究了双语背景儿童如何通过与父母和教师的互动重新获得他们的传统语言，并将这一洞见应用于小规模语言模型的学习中。我们介绍了 BAMBINO-LM，这是一种连续预训练策略，结合了来自父母意大利语模型的交替和基于 PPO 的困惑奖励。在英语和意大利语的零样本分类任务上评估后，BAMBINO-LM 提高了 BabyLM 基线模型的意大利语能力。我们的消融分析表明，采用交替策略和基于 PPO 的建模是实现这一效果增益的关键。我们还表明，作为副作用，所提出的方法会导致与人类儿童在等效学习场景中可能遇到的 L1 效果下降类似的效果。

    Jun, 2024

  • 开发和评估小到中型土耳其 BERT 模型

    该研究介绍和评估了微小、迷你、小型和中型的非套壳土耳其 BERT 模型，旨在填补资源匮乏语言领域的研究差距。我们使用多个来源的超过 75GB 文本构建了这些模型的训练集，并在多个任务中进行了测试，包括掩码预测、情感分析、新闻分类和零样本分类。尽管模型规模较小，但我们的模型在保证计算效率和更快执行时间的同时，表现出了强大的性能，包括零样本任务。我们的发现对于发展和应用较小语言模型，特别是在土耳其语境下，提供了有价值的见解。

    Jul, 2023

  • BLA 基准：研究预训练多模态模型的基本语言能力

    我们探索了预训练语言与视觉模型在基本语言构造方面的处理程度，并提出了 BLA 评估基准，发现各种类型的基于 Transformer 的系统普遍在零样本设置下难以处理 BLA，但生成型的 BLIP2 在上下文学习环境中显示出有希望的趋势，这为将 BLA 用作评估基准以及提高模型的基本语言能力打开了大门。

    Oct, 2023

  • Lil-Bevo: 以更接近人类的方式训练语言模型的策略探索

    我们提出 Lil-Bevo，作为 BabyLM Challenge 的参赛作品。我们使用三种方法对我们的掩码语言模型进行了预训练：使用音乐数据进行初始预训练，先对较短的序列进行训练再逐步增加序列长度，以及对特定令牌进行屏蔽以针对 BLiMP 的一些子任务。总体上，我们的基准模型的表现超过了随机猜测，但远低于训练于更多数据上的较大规模语言模型的性能水平。我们发现训练较短的序列比训练较长的序列效果更好。预训练音乐可能在一定程度上提高性能，但如果确实有影响，则影响似乎很小。我们针对性的掩码语言建模增强在一般情况下似乎并没有提高模型性能，但在一些特定的 BLiMP 任务上确实有帮助（如负极性项）。在少量数据上训练性能良好的语言模型是一项困难但有潜力的任务。虽然我们的一些技术显示出一些希望，但仍需要进一步研究以探索它们是否能带来比目前更为显著的性能提升。我们的代码可在此链接中获取，模型可在此链接中获取。

    Oct, 2023

  • 大型 GPT 模型的问题：深入研究语言能力与心理语言学度量之间的关系

    通过训练不同大小的 GPT-like 语言模型并在挑战任务（BLiMP，GLUE，MSGS）和阅读时预测任务上进行评估，我们发现 LM 大小与所有三个挑战任务的性能呈正相关，而在使用 LM 意外性作为预测变量的线性混合效应模型的阅读时间拟合上，发现 LM 大小呈负相关。这表明，模拟处理的努力和语言能力可能需要与在发展上合理的语料库上训练 GPT-like 语言模型有所不同的方法。

    Nov, 2023