- 高效的人体姿势估计:利用 MediaPipe 中的先进技术
该研究通过优化算法、提高准确性、计算效率和实时处理能力,在人体姿势估计方面取得了重要的进展;改进后的框架在动态运动和部分遮挡等复杂场景下显著提高了准确性,在增强现实、体育分析和医疗保健等方面具有广泛的应用,同时还探索了将这些改进应用于移动和 - 嵌入式图卷积网络在 SoC FPGA 上的实时事件数据处理
本研究旨在利用事件相机解决传统视频系统的限制,在汽车领域中针对嵌入式实时系统进行集成,通过图卷积网络 (GCN) 的运用保证处理事件系统所需的吞吐量和延迟性。通过针对点云处理的 GCN 架构 PointNet++ 进行硬件优化,实现了模型尺 - 深度状态空间模型的可扩展事件处理神经形态感知信号
本研究探讨了使用完全事件驱动的处理方法和基于现代循环深度状态空间模型的事件流建模来实现几个事件流基准测试的最新性能。
- CVPR通过强化学习学习控制相机曝光
本文提出了一种基于深度强化学习的相机曝光控制框架,以实现实时处理并在不同动态光照条件下迅速控制相机曝光。该框架通过简化训练场景、奖励设计、状态设计和域随机化等方法,实现了在五个步骤内快速达到所需曝光水平,并在不同计算机视觉任务中表现出优越性 - 电压成像的实时神经元分割
在电压成像中,我们提出了一种快速神经元分割方法,能够从噪声视频帧中检测到多个可能重叠的尖峰神经元,并实现了包括所提出的分割方法和 GPU 加速的运动校正在内的数据处理流程。通过在现有数据集和新数据集上的测试,我们展示了我们的处理流程能够从混 - CATSE: 一种用于因果目标声音提取的上下文感知框架
目标声音提取(TSE)侧重于从输入混音中分离用户提示的感兴趣源的问题。本文介绍了一种适用于实时处理的上下文感知低延迟因果 TSE 模型,并探索了使用上下文信息的效用,既可通过提供完整上下文信息,也可通过提出的多任务训练损失来实现,从而证明我 - 利用任务适应性注意力生成器的实时自主驾驶多任务学习
本文介绍了一种新的实时多任务网络,包括单目三维物体检测、语义分割和密集深度估计,通过引入任务自适应注意力生成器来解决多任务学习中普遍存在的负迁移问题,并利用硬参数共享方法提高效率,能够同时处理多个任务,尤其是三维物体检测,并保持实时处理速度 - 具有实时循环学习和最大相关熵准则的四元数递归神经网络
我们开发了一个强大的四元数循环神经网络(QRNN),用于实时处理具有异常值的三维和四维数据。这通过将实时递归学习(RTRL)算法与最大相关性准则(MCC)作为损失函数相结合来实现。通过基于广义 HR(GHR)微积分推导出这两种算法,GHR - 用于实时神经科学实验的 LFADS 的 FPGA 部署
使用 LFADS 模型和 FPGA 实现的高效实时数据处理方法,能够从高维度的神经尖峰数据中推断出潜在的动态,为研究神经人群动力学和提高计算算法的实时处理能力提供了新的机会。
- 在线张量推断
该论文介绍了一种新颖的在线推断框架,用于低秩张量学习,其中采用随机梯度下降,在不需要大量内存的情况下实现了高效的实时数据处理,大大降低了计算需求。该方法还提出了一种简单而强大的在线去偏置方法,用于顺序统计推断,从而消除了数据分割或存储历史数 - 复兴传统视频内容:双向信息传播去交错
我们提出了一种基于深度学习的方法,用于去交错扫描的动画和实拍内容,通过在空间和时间上跨多个尺度传播双向时空信息来恢复传统视频内容中丢失的信息,实验证明与现有方法相比,我们的方法具有卓越的性能。
- DYNAP-SE2:一款可扩展的多核动态神经形态异步脉冲神经网络处理器
通过仿生神经系统的方法,我们提出了一种脑启发式的平台,用于原型设计实时事件驱动的脉冲神经网络(SNNs),该系统支持模拟动态和现实的神经处理现象,并具有低延迟的异步数字电路以及模拟电路来实现这些功能。
- Mono-hydra: 单目相机输入与 IMU 实时构建的三维场景图
该研究介绍了一个名为 Mono-Hydra 的实时空间感知系统,利用单目相机和 IMU 传感器配置,在室内场景下实现对环境的深度和语义推断,以创建实时的三维场景图,提高决策效率和机器人系统的灵活性。
- 自动流星探测新嵌入式应用程序的并行化
该研究介绍了一种用于将计算机视觉应用程序并行化的方法,该应用程序能够自动从非稳定的相机和嘈杂的视频序列中检测流星。该应用程序设计为嵌入气象气球或用于空中观测任务,因此最终目标是一个低功率的片上系统(小于 10 瓦),而软件需要实时计算连续的 - 多目标跟踪作为关注机制
我们提出了一个概念简单且快速的多目标追踪模型 TicrossNet,该模型只由基本探测器和交叉注意力模块组成,能够实现实时处理,且不会因跟踪对象数量的增加而增加计算成本。
- StereoVAE:利用嵌入式 GPU 实现轻量级立体匹配系统
使用嵌入式 GPU 实现的简约的立体匹配系统,通过基于变分自动编码器的小型神经网络构建优化初步视差图的混合结构,实现了传统算法和神经网络结合,同时提高了匹配准确度和实时性。
- Five A + 网络:水下图像增强只需 9K 参数
本文提出了一种名为 Five A+ Network (FA+Net) 的高效且轻量级的实时的水下图像增强网络,具有很高的计算效率和性能,采用两阶段的增强结构和像素关注模式,能够在多个数据集上实现最先进的性能。
- 基于强化学习的路径规划:一种策略迭代方法
该研究针对强化学习参数的设计空间进行了设计空间探索,提出了基于自动调谐器的序数回归方法,可以加速收敛并实现 1.82 倍的峰值加速度和 1.48 倍的平均加速度。
- ICLR短期记忆卷积
本文提出了一种名为 Short-Term Memory Convolution(STMC)的卷积神经网络方法,用于音频领域中的实时处理,该方法能够以低延迟比 LSTM 网络更稳定快速地进行训练和推理,实现了语音分离和声场分类的更快速度和更高 - 交通分析开发工具包 (TADK): 在网络应用程序中实现实时 AI 推理
本研究介绍了 Traffic Analytics Development Kits (TADK) 的设计,是一个行业标准的、针对基于 AI 的网络工作负载处理的框架,可以在网络设备中提供实时的 AI 网络工作负载处理,无需专门的硬件。通过部