我们提出了一种转移学习框架，通过基于扩散的生成模型在少量真实数据情景下改善目标检测器的性能，从而解决了数据有限性的挑战。该方法在海洋生物学和城市环境中的鱼类和汽车目标检测任务中取得了与数千张图像训练模型相媲美的检测性能，为各个领域的基于生成 AI 的机器学习应用开辟了新的途径。

Feb, 2024

本研究通过建立一个包含各种结构、数据集和训练方法的大型目标检测器转移性基准，提出了一种高效的计算方式，同时评估分类和回归子任务，以及评估具有不同物体的任务。实验证明，相比于蛮力调整所有预训练检测器，我们的方法在不同目标领域下评估转移性能优于其他现有的方法，同时降低了 32 倍的时间和仅需 5.2% 的内存占用。

Mar, 2024

GAIA-1 ('Generative AI for Autonomy') 是一个生成性世界模型，利用视频、文本和动作输入生成逼真的驾驶场景，同时提供对自我车辆行为和场景特征的细粒度控制，通过将输入映射为离散标记并预测序列中的下一个标记来解决了在自动驾驶过程中有效预测可能出现的各种结果的挑战。该模型通过捕捉未来事件的预期和生成逼真样本的能力，提供了在自动驾驶技术领域创新的新可能性，实现了自动驾驶技术的增强和加速训练。

Sep, 2023

提出了一种名为 GAPretrain 的几何意识预训练框架，通过使用几何丰富的模态和来自 LiDAR 点云的结构提示，实现跨不同模态之间的属性转移，从而解决多镜头自动驾驶中图像和视角不一致的问题，实现了很好的效果。

Apr, 2023

GAIA 是用于智能助手的基准测试，如果解决，将代表 AI 研究的里程碑。GAIA 提出需要一系列基本能力的真实世界问题，例如推理、多模态处理、浏览网页和一般工具使用能力。GAIA 的问题对人类来说概念上简单，但对大多数先进的 AI 来说具有挑战性。该研究证明，人类回答正确率为 92％，而装备插件的 GPT-4 仅为 15％。GAIA 的理念与目前的 AI 基准测试趋势不同，目标是让任务对人类来说更加困难。我们认为，人工通用智能 (AGI) 的来临取决于系统在这类问题上具有与普通人类相似的强大稳健性。使用 GAIA 的方法，我们设计了 466 个问题及其答案。我们发布了这些问题并保留了其中 300 个问题的答案，以提供一个可在此 https URL 上获取的排行榜。

Nov, 2023

本文提出一种基于多模态预训练的语言条件检测框架，能够通过自然语言作为知识表示从不同的数据集中积累 “视觉词汇”，解决多数据集训练中的技术难题，并成功应用于超过 35 个目标检测任务，取得最新成果。

Sep, 2022

该论文提出了一种适用于分布式视觉语言预训练的简单方法，并在具有挑战性的 iNaturalist-2021 数据集上实现了零样本分类精度，从而打开了在涉及物种检测的农业相关应用中利用高质量视觉 - 语言预训练模型的新途径。

Feb, 2023

通过预测图像与文本配对来预训练计算机视觉系统，使其可以从自然语言描述中直接学习视觉概念，从而实现零样本迁移，并在多个计算机视觉任务上展现出竞争力。

Feb, 2021

本研究介绍了一种基于自然语言描述的图像增广方法（ALIA），通过大规模视觉模型与语言模型的结合，自动生成域名描述，实现对样本数据的增广。该算法有效提高了训练数据的多样性，经过测试在细粒度和复杂分类中表现良好。

May, 2023

引入对比检测算法的自监督目标，通过在图像增强中识别物体水平特征提取富有学习信息的信号，实现高效的自监督预训练，拥有多种下游任务的领先转移精度。在 ImageNet 预训练模型表现与大型自监督系统 SEER 相当的同时，需要少至 10 倍的预训练数据量，最终该目标还能轻松应对更复杂的图像。

Mar, 2021