fMRI 中语言编码模型的尺度定律

May, 2023

Scaling laws for language encoding models in fMRI

Richard Antonello, Aditya Vaidya, Alexander G. Huth

TL;DR本文研究使用基于 Transformer 的语言模型，比较了不同模型尺寸与训练数据规模对于预测功能性磁共振成像记录下的脑活动响应的影响。结果显示，当模型或数据规模增大时，在音频与语言预测方面均能获得显著性提升，这为在理解大脑语言处理机制和实际的解码应用上提供了改善的可能。

Abstract

Representations from transformer-based unidirectional language models are known to be effective at predicting brain responses to natural language. However, most studies comparing language models to brains have used GPT-2 or similarly sized language models. Here we tested whether larger

transformer-based language models brain responses fmri model scaling language processing

发现论文，激发创造

视觉编码模型与缩放定律的适用性

探索如何构建高性能视觉编码模型以预测脑活动，通过研究功能性磁共振成像（fMRI）数据中的视觉模型参数大小和样本量对预测准确性的影响，结果表明增加训练集样本量和视觉模型参数大小能够提高预测准确性，从而更好地理解视觉神经科学。

Aug, 2023

神经语言模型的缩放律

本文研究了语言模型性能对交叉熵损失计算的经验性规律，发现损失与模型大小、数据集大小和训练所用计算量呈幂律关系，而网络宽度或深度变化对性能影响较小，最优的计算效率可通过训练大型模型、使用适量数据并在达到最佳性能前停止训练来实现。

Jan, 2020

针对大规模多语言 ASR 的端到端模型扩展

本篇研究旨在研究 15 种任务下，训练语言模型的容量瓶颈，并发现通过增加模型参数，添加深度，以及使用大型编码器等方法可以增加训练效率。

Apr, 2021

语言模型的扩展：方法、分析与训练经验

本文通过对转换器为基础的语言模型在不同规模下的性能分析，证明规模越大，其在阅读理解、事实检查和鉴别有害语言等方面的性能提高最大，但在逻辑推理和数学推理等方面的收益较少。此外，本文还介绍了训练数据集和模型行为的综合分析，探讨了语言模型在 AI 安全和减轻下游危害中的应用。

Dec, 2021

神经机器翻译的规模定律

通过本文所提及的实证研究，我们揭示了神经机器翻译中，编码器 - 解码器 Transformer 模型的扩展特性。具体而言，本文提出了一个公式来描述交叉熵损失与编解码器大小的扩大倍数之间的关系，并在多种扩展方法及语言下展现了估计的准确性。我们同时观察到编码器与解码器扩展的效应不同，基于此提供了编码器 / 解码器容量的最优化分配建议。我们还发现模型的扩展表现受到训练 / 测试集组成偏差的极大影响，称之为 “构造偏差”，这种偏差对减少交叉熵损失十分重要。最后，我们调查了交叉熵损失与生成的翻译质量之间的关系，并发现在测试数据自不同语言的数据翻译转换中，模型大小的改变对模型的推理质量有着不同的影响。我们在本研究中使用的所有模型的生成文本都允许被公开。

Sep, 2021

任务专用语言模型集成的脑编码

通过将 10 种常用语言模型进行集成，我们的研究在所有感兴趣区域上比当前基准结果提高了平均 10% 的性能。

Oct, 2023

显微镜下的比例定律：从小尺度实验预测变形器的性能

本文通过对自然语言处理任务的实证研究，发现神经比例定律不仅仅用于模型性能的预测，还可用于模型加速开发、优化模型选型以及模型的收敛调试等方面。

Feb, 2022

语音语言模型的规模特性

本文使用语言模型的扩展性行为来估计目前方法在训练中使用的计算规模下，会产生具有类似基于文本的大型语言模型的英语熟练度的语音语言模型。我们展示了语言模型和大型语言模型的预训练损失与下游句法和语义性能之间存在强相关性，从而导致语言性能的可预测扩展。我们还表明，与基于文本的大型语言模型相比，语音语言模型的语言性能扩展速度慢三个量级。此外，我们研究了旨在提升语义理解的合成数据的益处以及更粗糙的语音分词的影响。

Mar, 2024

重新审视语言和视觉中的神经缩放定律

本篇研究介绍一种更严谨的方法来预测深度学习中的规模效益，提供了一种可靠的方法来估计缩放参数并通过发布基准数据集以帮助该领域的研究。

Sep, 2022

多尺度 Transformer 语言模型

本文研究了多尺度变压器语言模型，提出了三种不同的架构，并实验性地证明了多尺度表示在内存效率，计算时间和困惑度方面的优势，具有特殊的吸引力。

May, 2020