babylm challenge | BriefGPT

关键词babylm challenge

搜索结果 - 6

将神经语言模型在发展合理数据的课程中进行训练，是否可以提高与人类阅读行为的一致性？
使用神经语言模型对人类行为进行建模在研究中获得了不同的结果。本文通过在 BabyLM 挑战中使用更贴近发展的数据集来探索实证数据和模型预测行为之间的不匹配程度。通过对 BabyLM 的数据集进行师生训练和课程设计，研究发现，虽然这种改进使得
PDF7 months ago
层层为重要且不同：每一层都重要 BERT
该研究介绍了针对数据高效预训练语言模型的一种新型 Transformer 体系结构修改方法。该方法通过参与 BabyLM 挑战赛，赢得了 extsc {strict} 和 extsc {strict-small} 两个赛道。我们的方法允许每
PDF8 months ago
信息过载：为 BabyLMs 保持简单的训练
荷兰格罗宁根大学对 BabyLM 挑战的工作细节。通过简单 - 复杂的策略，我们研究了语境大小、词汇量和数据的总体语言复杂性等方面，发现只有语境大小对训练语言模型有真正的益处。然而，仅仅改变语境大小就让我们在（Super）GLUE 任务上平
PDF8 months ago
ChapGPT, ILLC 尝试培育 BabyLM：通过自动任务形成提高数据效率
我们提交了阿姆斯特丹大学 ILLC 的研究报告到 BabyLM 挑战赛，介绍了我们最终模型 ChapGTP 在三个评估套件上的性能和一系列未包含在模型中的方法，这些方法可能对低资源情景中的 LM 训练有所启发。
PDF9 months ago
婴儿骆驼：从小数据集上训练的教师集合中进行知识蒸馏，无性能惩罚
我们提出了一种解决 BabyLM 挑战的方法，目标是提高语言模型的样本效率。我们在一个有发展潜力的 BabyLM 数据集上训练了一个由 GPT-2 和小型 LLaMA 模型组成的集成模型，然后将其蒸馏成一个小型的 58M 参数 LLaMA
PDFa year ago
The BabyLM Challenge: 基于发展合理语料库的样本高效预训练
BabyLM 挑战赛的论文呼吁：在一个发展合理的语料库上进行样本高效的预训练。该挑战赛旨在探索语言建模、人类语言习得、低资源自然语言处理和认知建模等领域。
PDFa year ago