Feb, 2024

PIDformer: Transformer 遇见控制理论

PDF
TL;DR我们提出了一种改进 transformer 架构的方法，通过引入自我注意力作为自主状态空间模型，控制系统对输入的干扰进行反馈控制，提高模型的稳定性和容错能力，从而解决了 softmax transformer 中的秩坍缩问题。我们通过在目标分类、图像分割和语言建模等实际任务中的实验证明了该模型的优势和鲁棒性。
transformer architecturesinput corruptionrank collapseself-attentionpid-controlled transformer
发现论文，激发创造
  • 基于 PID 控制的自主修复技术提升大型语言模型的鲁棒性

    本研究提出了一种基于 PID 控制的自我修复框架，通过纠正输入数据中的扰动来提高预训练的大型语言模型的鲁棒性，减少了计算成本，并提高了实时推理能力。

    Mar, 2024

  • 位置知识是一切所需：面向操作员学习的位置感知变压器 (PiT)

    该论文提出了一种基于创新的位置注意机制构建的位置诱导变压器 (PiT)，相比经典的自注意力，PiT 在算子学习中表现出显著优势，并且在各种复杂算子学习任务和不同的偏微分方程基准测试中，PiT 在当前最先进的神经算子方法中展现出卓越性能。

    May, 2024

  • 基于 PID 思想的归纳偏置在部分可观测控制任务中的应用

    本文提出了两种基于 PID 控制器的历史数据编码器，应用于深度强化学习的控制任务中，相比先前方法实现了更好的性能和鲁棒性。

    Jul, 2023

  • PIDNet：基于 PID 控制器的实时语义分割网络

    本文提出了一种三支路网络体系结构 PIDNet，能够解决两支路网络体系结构中详细和语境特征混淆的问题，并利用边界关注技术在最终阶段对详细和语境支路进行融合，极大地提高了精度和神经网络处理速度。

    Jun, 2022

  • 四轴飞行器控制的基于混合 Actor-Critic 神经结构的自适应 PID 控制

    本文探讨了使用基于强化学习的神经网络自整定的 PID 控制算法，应用于四旋翼飞行器的姿态和高度控制，在动态和静态增益的调整中使用了适应性动量（ADAM）优化器和反向传播（BP）算法，并证明该方法比具有恒定增益的 PID 控制器具有更好的性能。

    Jul, 2023

  • 采用深度强化学习的一次性、离线和适用于生产规模的 PID 优化

    该论文介绍了一种基于深度强化学习的方法来优化具有多目标性能要求的 PID 控制参数。通过应用该方法，研究者展示了在温度变化、速度和稳定性等多种要素下，开关产品的性能可以大幅提升同时实现高效的离线应用。

    Oct, 2022

  • 选择变换方法：傅里叶或伽辽金

    本文介绍了一种基于 Transformers 的 Galarkin 变换学习器，能够在解决偏微分方程方面，显著提高训练成本和评估准确性。

    May, 2021

  • Transformer 能否表示卡尔曼滤波器？

    使用 Transformer 实现卡尔曼滤波，该方法可以近似卡尔曼滤波器并且可以用于测量反馈控制，实现与标准最优控制策略相近的性能。

    Dec, 2023

  • CtrlFormer: 基于 Transformer 学习可转移的状态表示，用于视觉控制

    提出了一种称为 CtrlFormer 的控制变压器模型，用于训练在样本利用效率方面表现良好的可转移状态表示，在视觉控制任务方面表现出色，并在 DMControl 基准测试中达到了当前先进方法的最高样本利用效率水平。

    Jun, 2022

  • 决策变压器作为部分可观测连续控制的基础模型

    利用预训练的语言模型，探索决策变压器（DT）架构作为一种通用的控制器综合框架，同时展示了 DT 在各种控制任务上的能力，包括对非线性动力系统和部分微分方程进行控制，并具备出色的零样本泛化能力。

    Apr, 2024