Oct, 2024

时间序列基础模型的神经扩展规律研究

HTML
PDF
TL;DR本研究旨在解决时间序列基础模型在分布外（OOD）数据的扩展特性尚未得到充分研究的问题。论文通过分析编码器和解码器两种常见架构，揭示了它们在不同数据集上的扩展行为，发现编码器架构在可扩展性上优于解码器，并提供了设计和扩展更强大模型的实用指导。研究的重要发现为基础模型的发展提供了新的方向，特别是在如何有效扩大模型规模以提升性能方面。
发现论文，激发创造
  • 神经语言模型的缩放律

    本文研究了语言模型性能对交叉熵损失计算的经验性规律，发现损失与模型大小、数据集大小和训练所用计算量呈幂律关系，而网络宽度或深度变化对性能影响较小，最优的计算效率可通过训练大型模型、使用适量数据并在达到最佳性能前停止训练来实现。

    Jan, 2020

  • 神经缩放定律解释

    该研究提出了一种理论，解释并连接训练数据集大小和网络参数数量与已训练神经网络的测试损失之间的精确定义的幂律关系，并通过说明数据流形和一些核的频谱之间的等效性来解释了分辨率有限的缩放行为。

    Feb, 2021

  • 重新审视语言和视觉中的神经缩放定律

    本篇研究介绍一种更严谨的方法来预测深度学习中的规模效益，提供了一种可靠的方法来估计缩放参数并通过发布基准数据集以帮助该领域的研究。

    Sep, 2022

  • 基础模型稀疏连接的扩展规律

    我们探讨了参数稀疏性对在大规模数据集上训练的Transformer（即“基础模型”）的扩展行为的影响，涉及视觉和语言领域。我们首次确定了描述权重稀疏性、非零参数数量和训练数据量之间关系的扩展定律，并通过ViT/JFT-4B和T5/C4在模型和数据规模上进行了实证验证；这些结果使我们能够表征“最佳稀疏度”，即对于给定的有效模型大小和训练预算，可以在其中获得最佳性能的稀疏度水平。我们发现，在非零参数数量固定时，最佳稀疏度随着用于训练的数据量增加而增加。我们还将研究扩展到了不同的稀疏结构（如硬件友好的n:m模式）和策略（如从预训练的稠密模型开始）。我们的发现揭示了在各种参数和计算设置中权重稀疏性的能力和局限性，为利用稀疏性提高计算效率提供了理论理解和实际意义。

    Sep, 2023

  • 计时器：用于大规模时间序列分析的Transformer

    本研究论文致力于提出一种大规模时间序列模型(Time Series Transformer)，通过深度学习和大规模预训练，解决了小样本情境下时间序列分析中的性能瓶颈问题。

    Feb, 2024

  • MSTAR: 用于时间序列分类的多尺度骨干架构搜索

    通过提出一个新的多尺度搜索空间和神经架构搜索（NAS）框架，解决了时间序列分类中接收域、频率和时间分辨率的问题，并展示了该模型在四个不同领域的四个数据集上达到了最先进的性能，同时为每个数据集引入了十多个高度微调的模型。

    Feb, 2024

  • 大型时间序列模型的尺度定律

    基于大规模语言模型的缩放定律已经在如何训练规模更大的模型以获得可预测的性能提升上提供了有用的指导。该研究表明，基于解码器的时间序列变换模型也展示了与语言模型类似的缩放行为，对于广泛范围内的架构细节（纵横比和头数）几乎没有影响。我们汇集了大量的异构时间序列数据进行训练，并首次建立了参数数量、数据集大小和训练计算量与其之间的幂律缩放关系，涵盖了五个数量级。

    May, 2024

  • 神经网络规模定律的信息论基础

    通过建立信息论基础，我们研究了神经缩放定律，并揭示了在无限宽度的两层神经网络生成的数据中，数据和模型大小的最佳关系大致呈线性，进一步验证了大规模的实证研究结果。

    Jun, 2024

  • 统一的神经网络缩放法则与规模时间等价性

    本研究旨在解决神经网络规模与数据量对性能提升影响的缺口。提出了一种新颖的理论框架，展示模型规模、训练时间和数据量三者如何相互影响，形成规模时间等价性。这一发现不仅挑战了目前的小模型短训练时间的实践，还为评估和优化大型网络性能提供了预测方法，具有重要的实际应用价值。

    Sep, 2024

  • 面向长时间序列的基础模型

    本研究解决了当前时间序列基础模型在处理长时间序列和多变量数据时的局限性。通过对语言和时间序列领域的上下文扩展技术进行系统比较，提出了一种新颖的压缩记忆机制，使得仅使用编码器的时间序列基础模型能够有效建模内部变量间的依赖关系。我们的研究表明，这种方法显著提升了模型在处理长时间序列时的性能，尤其在医疗等领域的应用具有重要影响。

    Sep, 2024