Feb, 2024
警报转换器：连接异步和同步机器学习以实时处理基于事件的时空数据
ALERT-Transformer: Bridging Asynchronous and Synchronous Machine Learning for Real-Time Event-based Spatio-Temporal Data
Carmen Martin-Turrero, Maxence Bouvier, Manuel Breitenstein, Pietro Zanuttigh, Vincent Parret
TL;DR我们旨在实现对由密集机器学习模型生成的连续超稀疏时空数据的经典处理。我们提出了一种新颖的混合流水线，由异步感知和同步处理组成，结合了几个思想：（1）基于 PointNet 模型的嵌入 ——ALERT 模块，可以通过泄漏机制持续集成新事件并丢弃旧事件，（2）嵌入数据的灵活读取，可以以任何采样率为任何下游模型提供始终更新的特征，（3）利用基于 Vision Transformer 的面向补丁的方法来优化输入稀疏性的效率。然后，这些嵌入由经过对象和手势识别训练的 Transformer 模型进行处理。通过这种方法，我们以比竞争对手更低的延迟实现了最先进的性能，并证明了我们的异步模型可以以任何所需的采样率运行。