小型语言模型如同小词汇：探究基于音素和字素的幼小拉马的语言能力

Oct, 2024

小型语言模型如同小词汇：探究基于音素和字素的幼小拉马的语言能力

Small Language Models Like Small Vocabularies: Probing the Linguistic Abilities of Grapheme- and Phoneme-Based Baby Llamas

HTML

PDF

Bastian Bunzeck, Daniel Duran, Leonie Schade, Sina Zarrieß

TL;DR本研究针对当前语言模型中使用子词级标记算法的局限性展开，提出无标记的音素和字素基语言模型的新方法。研究表明，基于字符级词汇的小型Llama架构模型在标准句法和新的词汇/语音基准测试中表现出色，且音素模型在不受字素偏见影响的情况下几乎与字素模型持平。这些发现为创造更具语言合理性的语言模型提供了有希望的方向，尤其适用于语言习得与处理的计算研究。

Abstract

Current Language Models use subword-based Tokenization algorithms like Byte Pair Encoding, which put their validity as models of linguistic representations into question. In this paper, we explore the potential o

发现论文，激发创造

神经语言模型中的词汇习得

研究神经语言模型在训练过程中如何获取单词，并提取 MacArthur-Bates 交际发展清单上 600 多个单词的学习曲线和获取年龄。与儿童的单词获取研究结合，评估 LSTMs、BERT 和 GPT-2 模型的多种预测因素，发现模型对单词频率的依赖程度远高于儿童，但与儿童相似的是，它们在更长的话语中学习单词较慢。同时，模型在训练过程中遵循一致的模式，这些结果为人类语言模型的更类人化语言习得提供了启示。

Oct, 2021

TinyStories: 语言模型有多小才能够流利地说英语？

本文介绍了TinyStories数据集和一种新的评估语言模型的方法，该数据集使用GPT-3.5和GPT-4生成，只包含3到4岁儿童通常理解的单词。使用TinyStories可以训练和评估比现有模型小得多的语言模型，并引入新的评估范式来评估这些模型的语言能力和多维度的得分，例如语法、创造性和连贯性等。这可以促进低资源或专业领域的语言模型的发展、分析和研究，并提高对于语言模型能力的认识。

May, 2023

BabySLM：面向语言习得友好的自监督口语模型基准

本文介绍了一种适用于语言习得的基准测试方法，该方法可以在词汇和句法水平上测试口语识别模型的能力，旨在进一步深入理解婴儿学习语言的过程以及使自监督学习技术能够充分发挥潜力，同时还需要克服文本和语音之间以及清晰语音和野外语音之间的差距。

Jun, 2023

婴儿骆驼：从小数据集上训练的教师集合中进行知识蒸馏，无性能惩罚

我们提出了一种解决BabyLM挑战的方法，目标是提高语言模型的样本效率。我们在一个有发展潜力的BabyLM数据集上训练了一个由GPT-2和小型LLaMA模型组成的集成模型，然后将其蒸馏成一个小型的58M参数LLaMA模型，它在性能上超过了两个教师模型以及没有蒸馏训练的类似模型。这表明，蒸馏不仅可以保持教师模型的全部性能，在后者被训练在足够小的数据集上时，还可以超过教师模型的性能，并且比直接训练要表现得更好。

Aug, 2023

幼龄BERTa：利用幼儿BERTa进行语法学习和语言理解

我们展示了ToddlerBERTa，一种类似BabyBERTa的语言模型，通过五种不同的具有不同超参数的模型来探索其功能。在BLiMP、SuperGLUE、MSGS和BabyLM挑战中的Supplement基准上评估，我们发现较小的模型可以在特定任务中表现出色，而较大的模型在大量数据上表现良好。尽管使用较小的数据集进行训练，ToddlerBERTa表现出令人称赞的性能，与最先进的RoBERTa-base相媲美。该模型展示了强大的语言理解能力，甚至在单句预训练下与利用更广泛的上下文信息的基线模型相竞争。我们的工作提供了有关超参数选择和数据利用的见解，促进了语言模型的发展。

Aug, 2023

评估神经语言模型作为语言习得的认知模型

神经语言模型（LM）在许多技术任务上的成功使其潜在相关性作为语言科学理论得以体现，尽管LM训练和儿童语言习得之间存在一些明显的差异。本文认为一些用于评估LM语法能力的主要基准可能不够严格，并表明基于模板的基准缺乏语言理论和心理学研究中常见的结构多样性。当用小规模数据对儿童语言习得进行建模时，LM可以轻易地被简单的基准模型匹配。我们提倡使用现成的、经过精心策划的数据集，这些数据集已由大量母语用户进行了梯度可接受性评估，并旨在特别探索语法的结构基础。在这样一种数据集（LI-Adger数据集）上，LM在评估句子时与人类语言用户的方式不一致。最后，我们提出了更好地将LM与儿童语言习得的实证研究进行联系的建议。

Oct, 2023

使用类人开发数据文集预训练LLMs

利用与儿童所见的单词数量大致相同的单词数量，我们对大型语言模型进行预训练和评估，以学习上下文词表示，其中比较了不同架构、不同训练轮次的性能变化以及与任务组织者给出的RoBERTa基准的训练稳定性和可复现性。

Nov, 2023

单个儿童语言输入对可学习性的系统调查

该研究探讨了使用单个儿童语言输入子集训练语言模型，以形成有意义的句法和语义表征，发现这种方法的学习性强度和可靠性。

Feb, 2024

多语言转换器的潜在语言：拉马在英文中起作用吗？

我们研究多语言语言模型在不平衡的以英语为主导的语料库上是否使用英语作为内部枢纽语言，以关键的重要性问题来理解语言模型的功能和语言偏见的起源。通过跟踪高维空间中的中间嵌入，我们发现了三个不同的阶段，这些阶段分别在“输入空间”、“概念空间”和“输出空间”中操作。关键的证据表明，抽象的“概念空间”更接近于英语而不是其他语言，这可能对多语言语言模型所持的偏见有重要影响。

Feb, 2024

神奇的语义与去寻找它们：探究生成语言模型中反映词汇语义的层面

大型语言模型中的词汇语义在不同层次上具有不同的演化形式，较低层次的表示编码了词汇语义，而较高层次的表示则更适用于预测任务。

Mar, 2024