本文介绍了一种新型的循环神经网络结构，可用于学习信号时间逻辑公式，并对公式推导方法进行了系统性比较。通过梯度下降训练神经网络，在不施加特定模板的情况下推导出公式结构和参数，可在实现类似分类误差率（MCR）的情况下发挥作用。研究人员还发现时间逻辑推断问题存在欠确定性。

Aug, 2022

通过将 Transformer 模块与强化学习相结合，开发了一个基于二次 Transformer 引导的时间逻辑框架（T2TL），以学习并执行各种自适应控制任务。其采用的 LTL 指令通过 co-safe LTL 指定，可以将复杂任务分解为可学习的子目标，从而将非马尔可夫奖励决策过程转换为马尔可夫过程，并通过同时学习多个子任务来提高采样效率。

Sep, 2022

本文提出了一种针对具有多个参数的度量或信号时间逻辑（MTL 或 STL）的规范的框架，该框架可以自动地推断参数的范围，以便系统未满足属性标准。同时，我们还提供了用于多参数规范探索和可视化的算法，并且在实际工业应用引擎模型以及相关文献的例子中进行了演示。

Dec, 2015

自动从系统执行中合成形式规范的学习算法，以实现有效可监控的 Metric Temporal Logic (MTL) 公式的综合。

Oct, 2023

该研究探讨决策变压器架构中整合 Mamba 框架的潜在性能提升，并通过实验评估修改后的决策变压器模型 Decision Mamba 在不同决策环境中的效果，为顺序决策模型的发展做出贡献，突显了神经网络的架构和训练方法对复杂任务性能的重要影响，并突出了 Mamba 作为改进强化学习场景中基于 Transformer 模型的有效工具的潜力。

Mar, 2024

本文探讨了神经符号计算中的两个基本问题：深度学习是否能够端到端地解决逻辑中的挑战性问题，以及神经网络是否能够学习逻辑的语义。研究重点是线性时间暂态逻辑（LTL），通过训练 Transformer 来直接预测给定 LTL 公式的解，使用传统求解器产生的经典解决方案生成训练数据，研究表明，使用这些特定的解决方案进行训练已足够。 Transformers 甚至可以预测在文献基准测试中，经典求解器超时的公式的解，它也可以推广到逻辑的语义，虽然与经典求解器找到的解有所不同，但仍可以正确地预测大多数公式的解。

Mar, 2020

在这篇论文中，我们提出了一种混合框架 Mambaformer，该框架在内部结合了 Mamba 和 Transformer 架构，用于长短范围的时间序列预测，并通过比较研究表明，Mambaformer 系列可以在长短范围的时间序列预测问题中胜过 Mamba 和 Transformer。

Apr, 2024

本文提供了一种系统的方法来合成时序逻辑公式的语法结构和参数，其中利用了一种新颖的进化算法来学习公式的结构，然后对候选公式的平均鲁棒性执行参数综合，以应对动力系统的异常轨迹检测和无效呼吸努力的表征两个案例研究。

Nov, 2017

基于 Transformer 架构的基础模型凭借其核心注意力模块，驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理，并对此进行了改进，通过让结构状态空间模型（SSMs）参数成为输入的函数来解决离散模态的弱点，该模型在长度可选的维度上选择性地传播或遗忘信息，并且通过在递归模式下设计一种硬件感知并行算法，将这些选择性 SSMs 集成到简化的端到端神经网络架构中。该模型（Mamba）具有快速推断速度（比 Transformers 快 5 倍）和序列长度的线性扩展，并在实际数据上对长达百万长度的序列显示出改进。作为一种基于通用序列模型的支持，Mamba 在语言、音频和基因组等多个模态上实现了最先进的性能。在语言建模中，我们的 Mamba-3B 模型在预训练和下游评估中均优于同样大小的 Transformers，与其两倍大小的模型性能相当。

Dec, 2023

基于 transformer 模型和 Mamba 模型，我们提出了一种用于决策制定和长期记忆的 Decision Mamba-Hybrid (DM-H) 方法，并通过实验证明在长期和短期任务中达到了最先进的性能，同时在线测试效率比基于 transformer 的基线模型快 28 倍。

May, 2024