多尺度传感器融合和神经 CDE 的连续控制

Mar, 2022

多尺度传感器融合和神经 CDE 的连续控制

Multiscale Sensor Fusion and Continuous Control with Neural CDEs

Sumeet Singh, Francis McCann Ramirez, Jacob Varley, Andy Zeng, Vikas Sindhwani

TL;DR本文提出了一种新的方法 InFuser 来训练连续时间策略，通过积分和融合多传感器观察数据来推断出连续时间动作，以期获得更好的视觉 - 运动控制。行为克隆实验表明，InFuser 在动态任务中（例如将球挥入杯中）学习到了稳健的策略，并且在观察数据不均匀的情况下优于一些基线。

Abstract

Though robot learning is often formulated in terms of discrete-time Markov decision processes (MDPs), physical robots require near-continuous multiscale feedback control. Machines operate on multiple asynchronous sensing modalities, each with different frequencies, e.g., video frames a

robot learning continuous-time policies multisensory observations neural controlled differential equations visuomotor control

发现论文，激发创造

深度强化学习用于机器人控制的传感器融合

本文探讨使用深度强化学习算法来进行机器人控制，并结合多个传感器的信息，提出了一种融合传感器信息并且在传感器故障时仍能稳妥地进行操作的深度神经网络架构，并在仿真与真实环境中进行了搜索与拾取任务的测试。

Mar, 2017

LeTFuser：轻量级端到端基于 Transformer 的多任务学习自动驾驶传感器融合

通过引入 LeTFuser 算法，利用 Convolutional vision Transformer 实现多个 RGB-D 相机表示的融合，以解决端到端自动驾驶中涉及多个动态主体的复杂场景下现有传感器融合技术在模仿学习中的不足，并通过多任务学习在感知和控制任务之间同时进行相关处理。

Oct, 2023

神经控制微分方程用于在线预测任务

本文提出神经控制微分方程 (Neural CDE) 用于解释不规则时间序列的函数，同时研究了在连续监测过程中，如何解决实时在线预测的问题，本文提出的插值方案具有测量性和平滑性，并在 MIMIC-IV 医疗数据库上进行了实证测试，对于三个连续监测任务的准确性均有提升。

Jun, 2021

通过转移模型学习连续控制策略

通过学习过渡模型，我们可以使用它来驱动摊销政策的学习。因此，我们重访了政策优化并描述了一个模块化神经网络架构，该架构从预测错误中同时学习了系统动力学和生成适当连续控制命令的随机策略，并通过与线性二次调节器的基线进行比较来评估模型。

Sep, 2022

通过神经 CDEs 利用视频建模中的归纳偏见

我们介绍了一种新颖的视频建模方法，利用控制微分方程（CDEs）来解决视频任务中的关键挑战，特别是视频插值和掩模传播。我们将 CDEs 应用于不同的分辨率，形成了一个连续时间的 U-Net 架构。与传统方法不同，我们的方法不需要显式光流学习，而是利用 CDEs 的内在连续时间特性来产生高度表达的视频模型。我们展示了在视频插值和掩模传播任务上与最先进模型竞争力强的性能。

Nov, 2023

深度神经网络的高效在线处理

本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

Jun, 2023

傅立叶控制网络用于实时决策的具象学习

通过在机器人轨迹的频域中提取和编码时变特征的短时傅里叶变换 (STFT)，傅里叶控制器网络 (FCNet) 实现了实时决策的并行训练和高效的循环推断，比传统方法如 Transformer 在各种大小的多环境机器人数据集上的效率和有效性更高。

May, 2024

神经连续 - 离散状态空间模型用于不规则采样的时间序列

提出了神经连续 - 离散状态空间模型 (NCDSSM)，用于对时间序列进行连续时间建模。该模型使用辅助变量进行识别和动态分离，从而仅需要为辅助变量进行摊销推理。通过连续离散滤波理论，提出了三种灵活的潜在动态参数化方法和一种能够较快地进行后验推理的训练目标函数。实验结果表明，NCDSSM 在多个基准数据集上都比现有模型具有更好的插补和预测性能。

Jan, 2023

使用神经控制微分方程连续建模对照结果

借助控制微分方程的数学，提出一种新方法用于处理不规则采样数据的因果推断任务，即治疗效果神经控制微分方程（TE-CDE），以便在任何时间点评估可能的结果，并通过对抗性训练来解决长期临床研究中的时间相关混淆问题。该方法在一系列不规则采样的临床情境中的模拟环境中表现优于现有方法。

Jun, 2022

深度连续融合的多传感器三维物体检测

本文提出了一种新颖的三维物体检测器，利用雷达和摄像头实现非常精确的定位，设计了一种端到端可学习的架构，利用连续卷积在不同分辨率级别上融合图像和雷达特征图，其实现了对离散状态图像特征和连续几何信息的编码，从而能够基于多种传感器设计新颖，可靠且高效的端到端可学习的三维目标检测器，实验结果显示，在 KITTI 和大规模三维目标检测基准测试中，相对于现有技术有显著的提高。

Dec, 2020