Feb, 2024

LLMs学习动力系统的控制原则，揭示上下文中的神经缩放定律

HTML
PDF
TL;DR预训练的大型语言模型（LLMs）在进行零-shot任务（包括时间序列预测）时表现出惊人的效果，本文研究了LLMs在从事受物理规律控制的动力系统情景下外推行为的能力，结果显示LLaMA2在无需微调或提示工程的情况下能准确预测动力系统时间序列，此外，学习到的物理规律的准确性随输入环境窗口长度的增加而增加，揭示了一种上下文版本的神经缩放定律，并提出了一种灵活高效的算法，可直接从LLMs中提取多位数的概率密度函数。
发现论文，激发创造
  • 大型语言模型调查

    本文介绍了最近关于预训练语言模型（PLMs）的新进展，重点讨论了大型语言模型的预训练、适应和调整、利用和容量评估四个方面，并讨论了未来研究的问题和方向。

    Mar, 2023

  • 大型语言模型

    这篇研究论文探讨了人工智能领域的语言模型发展及近期成果，重点介绍了基于变压器架构的大型语言模型的工作原理，以及这些预测模型如何展现出类人的智能水平。

    Jul, 2023

  • LLM4TS：基于预训练LLM的两阶段微调用于时间序列预测

    我们利用预训练的大型语言模型 (LLMs) 提升时间序列预测的能力，通过结合时间序列拼接和时间编码，增强了LLMs处理时间序列数据的能力，采用两阶段的精调过程，并采用多种参数高效精调技术 (PEFT)，LLM4TS在长期预测方面取得了最先进的结果。

    Aug, 2023

  • 自回归之火: 通过它们所训练解决的问题来理解大型语言模型

    大语言模型的广泛应用使得识别它们的优势和局限性变得重要。我们主张，为了全面理解这些系统，我们需要考虑它们在训练中解决的问题：互联网文本的下一个词预测。通过认识到这个任务所带来的压力，我们可以对大语言模型采用的策略进行预测，从而推断它们的成功或失败。这种方法，我们称之为目的论方法，使我们能够确定三个因素，我们假设这些因素会影响大语言模型的准确性：执行任务的概率、目标输出的概率和提供的输入的概率。我们预测，当这些概率较高时，大语言模型的准确性会更高，而当概率较低时，即使在确定性环境下，概率也不应该起作用。为了验证我们的预测，我们对两个大语言模型（GPT-3.5和GPT-4）进行了十一项任务的评估，我们找到了强有力的证据表明大语言模型受到我们假设的概率影响的方式。在许多情况下，实验揭示了令人惊讶的失效模式。例如，当输出是高概率单词序列时，GPT-4解码简单密码的准确率为51%，但当输出是低概率时，准确率为13%。这些结果表明AI从业者在低概率情况下使用大语言模型时需要谨慎。更广泛地说，我们得出结论，我们不应该把大语言模型评估为人类，而应该把它们看作一类独特的系统——这类系统经过了自己特定的压力塑造。

    Sep, 2023

  • Time-LLM：大型语言模型的时间序列预测

    利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。

    Oct, 2023

  • 通过修正的标度定律选择大型语言模型进行微调

    在本研究中，我们针对有限资源的情况，通过预测微调性能并阐明其与扩展规律的自然连接，解决了在众多选项中选择最合适微调模型的挑战。我们发现，与预训练不同，微调的扩展曲线不仅包括众所周知的“幂阶段”，还包括以前未观察到的“前幂阶段”。为了克服现有扩展规律无法捕捉这种相变现象的理论和实证限制，我们引入了“预学习数据大小”概念到改进的扩展规律中，这大大提高了实验结果的拟合度。通过利用我们的规律，我们提出了一种新颖的LLM选择算法，用较少的资源消耗选择接近最优的模型，而其他方法可能提供负相关的选择。

    Feb, 2024

  • 大型语言模型的时间尺度定律

    最近，大型语言模型广泛应用于各种任务，对于如何扩展语言模型对其性能的影响的研究引起了越来越多的关注。本文提出了新概念的时间缩放定律，并研究了语言模型在时间维度上的损失。研究发现，尽管存在损失不平衡，语言模型在不同的令牌位置上学习是均匀的。通过在各种规模的预训练语言模型上进行的实验验证了这一现象，并提供了对预训练语言模型更深入的理解。

    Apr, 2024

  • 大型时间序列模型的尺度定律

    基于大规模语言模型的缩放定律已经在如何训练规模更大的模型以获得可预测的性能提升上提供了有用的指导。该研究表明，基于解码器的时间序列变换模型也展示了与语言模型类似的缩放行为，对于广泛范围内的架构细节（纵横比和头数）几乎没有影响。我们汇集了大量的异构时间序列数据进行训练，并首次建立了参数数量、数据集大小和训练计算量与其之间的幂律缩放关系，涵盖了五个数量级。

    May, 2024

  • 通过神经ODEs和控制理论揭示LLM机制

    此研究提出了一种新颖的方法，利用神经常微分方程（Neural ODEs）揭示大型语言模型（LLMs）中输入和输出之间错综复杂的关系，并采用稳健控制来微调输出以满足预定义的标准。该方法的核心是将LLM的输入和输出转换为低维的潜在空间，从而便于详细研究LLM内的信息处理路径。神经常微分方程在这一研究中发挥关键作用，提供了一个动态模型，捕捉了LLM中数据的连续演化。此外，稳健控制机制被应用于策略性地调整模型的输出，确保其不仅保持高质量和可靠性，还符合特定的性能标准。神经常微分方程和稳健控制的融合在LLM可解释性方面代表了重大进展，提供了一个综合框架，阐明了这些复杂模型以前不透明的机制。我们的实证结果验证了这种整合方法的有效性，为可解释AI领域做出了重大贡献，将先进的机器学习技术与对AI输出的透明度和控制的重要需求相结合。

    Jun, 2024

  • 对标准统计模型和大型语言模型在时间序列预测中的评估

    本研究探讨了大型语言模型（LLMs）在时间序列预测中的应用，重点分析了LLMTIME模型。研究显示，尽管LLMs在生成文本、翻译和情感分析等任务中表现良好，但在处理复杂时间序列数据时，其预测准确性显著下降，尤其是当数据包含周期性和趋势成分时。这一发现强调了针对时间序列的LLMs的局限性和面临的挑战。

    Aug, 2024