Dec, 2023

人工智能光学硬件赋能 1.2 Tb/s 高分辨率高光谱视频理解

PDF
TL;DR通过硬件加速的集成光电平台，在实时应用中进行多维视频理解，实现了 1.2 Tb/s 的数据处理速度，超过了同类光谱分辨率的技术数个数量级，为实时人工智能视频理解的多维视觉信息研究开辟了新的道路。
foundation modelsgpt technologyvideo comprehensionhardware-accelerated integrated optoelectronic platformreal-time ai video understanding
发现论文，激发创造
  • 智能多通道元成像器加速机器视觉

    通过使用智能亚表面图像传感器与后端数字计算结合的方法，实现了大规模并行的高速低能耗光学卷积神经网络，应用在机器视觉的对象分类中，成功地对手写数字进行了 98.6% 的准确分类和时尚图像 88.8% 的分类。

    Jun, 2023

  • 在线高性能成像和视觉的流式量子传感器

    我们引入了一个简单、低带宽的计算流程来解决快速量子图像传感器的数据率和处理非传统原始数据的挑战，并使用新型的流式表示和神经网络来在线实时重建图像。

    Jun, 2024

  • 时间复用神经全息：一种具有快速、大量量化空间光调制器的柔性全息近眼显示解决方案

    本研究提出一种基于计算机生成全息术的框架来优化高速空间光调制器（SLMs）的量化相位模式，实现对各种类型内容的支持，包括 2D 和 2.5D 的 RGBD 图像、3D 焦点堆栈以及 4D 光场。实验结果表明，在模拟和实验中，本研究所提出的框架在所有这些场景下都实现了最先进的效果。

    May, 2022

  • 一种面向网络目标的端到端集成计算和通信架构：对现场监控视频的视角

    本研究提出一种基于情景感知的实时流式传输方案，以实时识别重要事件和降低发射功率。该方案主要利用少量隐藏层的小型神经网络在源端对特定情景下的帧进行高重要性分配，并将高重要性的帧与一定信噪比的低重要性帧同时流式传输，在接收端进行深度神经网络分析提取准确的情景并节约约 38.5% 的能源。

    Apr, 2022

  • 了解 AI-enabled 智能视频监控的政策和技术方面以解决公共安全问题

    本文提出了一种终端到终端的人工智能视频安全监控系统，其中融合了计算机视觉分析、统计数据分析、云原生服务以及终端用户应用，该系统能够更好地保护个人隐私，同时对人物识别、错误行为检测等方面具有高效性能和较高的安全性。

    Feb, 2023

  • VIoTGPT: 针对智能视频物联网学习调度视觉工具

    基于 LLMs 的框架 VIoTGPT 可以与人类正确互动、查询知识视频并调用视觉模型完成复杂任务，通过 ReAct 指令调优学习工具能力，定量和定性实验结果验证了 VIoTGPT 的有效性。

    Dec, 2023

  • 使用视觉 Transformer 进行实时语义通信演示

    该论文提出了一种基于端到端深度神经网络结构的图像传输方法，利用现场可编程门阵列（FPGA）在实时无线信道上实现了原型测试，结果表明该系统在使用流行的 CIFAR-10 数据集时，比传统 256 正交幅度调制系统在低信噪比情况下表现更好。本文是第一篇使用视觉变换器实现和研究实时语义通信的工作。

    May, 2022

  • 统一视觉 GPT：通过通用多模态框架简化面向视觉的人工智能

    UnifiedVisionGPT 是一个新框架，通过整合 SOTA 视觉模型来加速计算机视觉领域的发展，提供多功能的多模态平台，自动化模型选择，并通过提高效率、通用性、综合能力和性能来改变计算机视觉领域。

    Nov, 2023

  • 光频梳和可编程光记忆的高光谱内存计算

    我们提出了一种超光谱存储体系结构，通过将空间复用与频率复用光频梳相结合，并利用空间光调制器作为可编程光学存储器，从而提高计算吞吐量和能源效率。我们在矩阵 - 向量乘法和矩阵 - 矩阵乘法中实验性地演示了高于 4 位精度的乘累加运算，这表明了该系统在各种深度学习和优化任务中的潜力。我们的方法展示了超越传统光学计算体系结构的非凡模块化性，可扩展性和可编程性，并显着超越了 peta（每秒百万亿次）操作，标志着实现高吞吐量、高能效光学计算的重要进展。

    Oct, 2023

  • VisionGPT-3D：增强 3D 视觉理解的综合多模态代理

    文本向视觉组成件的演变有助于人们的日常生活，计算机视觉模型包括多模态能力，最近的研究关注于基于明确对象的图片检测和分类，然而与问题不匹配的算法可能导致不良结果，为了应对这个挑战，我们提出了统一的 VisionGPT-3D 框架来巩固最先进的视觉模型并促进面向视觉的人工智能的发展。

    Mar, 2024