Aug, 2023

Transformer 能否学会未知系统的最优滤波？

PDF
TL;DR利用 transformer 进行最优输出估计问题的研究，提出一种称为 meta-output-predictor（MOP）的模型，该模型在动态系统中表现出类似于卡尔曼滤波的最优输出估计器的性能，并在具有非独立同分布噪声、时变动力学和未知参数的非线性动力学的复杂场景中表现出色，同时指出在控制和估计问题中使用 transformer 时需要谨慎的限制。
transformersoptimal output estimationmeta-output-predictordynamical systemscontrol and estimation
发现论文，激发创造
  • 模型无关系统辨识的上下文学习

    传统的系统辨识方法采用给定的输入 / 输出序列和现有的物理知识估计未知动力系统的模型。本文提出了一种新的系统辨识方法，通过预训练一个元模型来隐式表示一个类别的动力系统的主要特征，并利用 Transformer 架构实现单步预测和多步仿真任务，为系统辨识研究开辟了新的方向。

    Aug, 2023

  • Transformer 能否表示卡尔曼滤波器？

    使用 Transformer 实现卡尔曼滤波，该方法可以近似卡尔曼滤波器并且可以用于测量反馈控制，实现与标准最优控制策略相近的性能。

    Dec, 2023

  • Transformer 对于上下文中的牛顿法能模拟多好？

    利用线性注意力变换器实现逻辑回归的二阶优化算法，并仅需要对数层数量的误差即可实现 epsilon 误差。

    Mar, 2024

  • 基于变压器模型的回归混合模型的最优学习

    通过研究 transformers 在混合回归问题中的表现，我们发现它可以学习到一个最优预测器，在数据生成过程中表现出低均方误差，并且在推断时做出接近最优的预测。同时，我们证明了最优预测器可以通过 transformer 实现。

    Nov, 2023

  • 使用变分推断学习最优滤波器

    利用变分推断学习参数化分析映射，通过估计条件分布对于动态系统的滤波分布，在过滤线性和非线性动态系统中也适用。

    Jun, 2024

  • 元学习变形金刚进行上下文通用学习

    本文研究了通过 Meta-learning 或者说 Learning-to-learn 的方式来训练黑盒子模型成为通用的上下文学习算法，同时发现相比于标准模型，黑盒子模型训练时的瓶颈不是参数数量而是可以访问的状态大小。此外，本文提出了一些实际操作手段，如改变训练集分布来改善通用学习算法的 Meta-training 和 Meta-generalization。

    Dec, 2022

  • 基于最优传输的高维非线性滤波

    基于最优输运解释的非线性滤波方法通过模拟和无似然算法估计从当前状态分布到下一个时间步的 Brenier 最优输运映射，利用神经网络建模复杂和多模态分布以及采用随机优化算法提高可伸缩性，通过广泛的数值实验与 SIR 粒子滤波器和集合卡尔曼滤波器进行比较，展示了我们方法在样本效率、高维可伸缩性和捕捉复杂和多模态分布等方面的优越性。

    Oct, 2023

  • 使用多模态变换器预测运算符和符号表达式

    用一种名为 PROSE 的新型神经网络框架，能够从数据中学习运算符和控制方程，提供了更大的灵活性和通用性，以实现非线性微分方程的近似计算和预测。

    Sep, 2023

  • 揭示 Transformer 中的 Mesa 优化算法

    通过逆向工程一系列经过训练的自回归 Transformer，我们发现其通过梯度驱动的学习中的 mesa-optimization 算法也可被改用于解决少样本监督任务，这表明 mesa-optimization 可能是大型语言模型在上下文学习能力方面的基础。此外，我们提出了一种新的自注意层 ——mesa-layer，它能显式、高效地解决上下文中给定的优化问题，并在合成和初步语言建模实验中展现出更好的性能，从而加强了 mesa-optimization 隐藏在训练的 Transformer 网络权重中的重要性的假设。

    Sep, 2023

  • 基于 Transformer 的线性模型上下文学习中的高阶优化方法研究

    Transformers 使用高阶优化方法（如迭代牛顿法）实现了上下文学习（即从示例中学习而无需参数更新），并且与梯度下降相比具有相当的收敛速度，同时在条件良好和条件差的数据上都能成功进行上下文学习。

    Oct, 2023