Dec, 2022

基础模型简介：历史、社会和技术焦点

PDF
TL;DR本文介绍了基础模型，深度学习中通过模型大小和训练数据广度和大小的扩展可以对未来的 AI 开发造成破坏。基础模型在各种任务领域（如自然语言处理和计算机视觉）中实现了最先进的性能，并且通过进一步的改进常常得到更好的表现。此外，模型的单一化可能会将众多特定任务的模型替换为由少数公司控制的更少数量的大型模型，从而导致对 AI 的权力和控制的转移，并出现新兴的行为方式：上下文学习。
发现论文，激发创造
  • 基础模型的机遇与风险

    AI 基础模型的兴起，具有广泛数据训练和可适应下游任务的特点，其机制、应用和社会影响需要更多的跨学科合作来研究。

    Aug, 2021

  • 决策基础模型：问题、方法与机遇

    本文检查了基于决策制定的基础模型的范围，并提供了理解问题空间和探索新研究方向的概念工具和技术背景。通过各种方法，例如提示、条件生成建模、规划、最优控制和强化学习，审查了将基础模型用于实际决策制定应用的最近方法，并讨论了该领域的常见挑战和开放问题。

    Mar, 2023

  • 基于 Foundation Model 的系统设计框架

    本研究提出了一个基于基础模型的系统分类法，涉及预训练和微调，基于基础模型的系统的体系结构设计以及负责任的 AI-by-design。该分类法为基于基础模型的系统设计提供了具体的指南，并突出了设计决策带来的权衡。

    May, 2023

  • 基础模型的工具学习

    本文系统地介绍了工具学习在认知起源、模型学习和用户指令等方面的背景，并总结了现有的工具增强和工具导向学习研究，并提出了一个通用的工具学习框架。最后通过 17 个代表性工具的实验结果展示了基金会模型在熟练使用工具方面的潜力，同时指出了需要进一步研究的几个开放性问题。

    Apr, 2023

  • 自动驾驶中的基础模型调查

    该研究综述介绍了基础模型在自动驾驶中的应用，探讨了其在规划、仿真、三维物体检测以及多模态模型方面的作用，并提供了基于模态和功能对基础模型的分类，同时指出了现有模型与创新自动驾驶方法之间的差距，并提出了填补这些差距的未来研究方向和路线图。

    Feb, 2024

  • 走向图基础模型：调研与展望

    提出了图基础模型（GFMs）的概念，并对其关键特征和技术进行首次全面阐述，然后将现有工作根据其依赖性分为三类，即基于图神经网络和大语言模型。本文不仅提供了对当前图基础模型领域的综合概述，还讨论了这一发展中领域的潜在研究方向。

    Oct, 2023

  • 定义视觉新时代的基础模型：调查与展望

    视觉系统、基础模型、环境中的上下文推理、训练目标和计算机视觉的挑战和研究方向的综述。

    Jul, 2023

  • 医学影像学中的基础模型：综合调查与未来视野

    通过提供医学成像领域基础模型的综合概述，本调查旨在帮助研究人员了解基础模型的基本概念、培训策略、计算要求以及在医学图像分析方面的机会、应用和未来发展方向。

    Oct, 2023

  • 何时称为基础模型的基础模型

    最近，在医学领域中，有几项研究报道了利用像推特和 PubMed 这样的在线数据来源中的图像对基础模型进行微调以进行图像 - 文本建模。基础模型是能够通过在非常广泛的数据集上训练来学习特定领域上下文的大型深度人工神经网络。通过验证，我们观察到，与显著较小的传统深度网络生成的表示相比，这些模型生成的表示在数字病理学的检索任务中表现出较差的性能。

    Sep, 2023

  • 基础模型的训练和服务系统：综合调查

    本文全面探讨了基础模型的训练和服务方法，提供了详细的分类，并总结了挑战和未来发展方向。通过全面的讨论和分析，为未来的研究和应用提供了坚实的理论基础和实践指导，促进基础模型系统的持续创新和发展。

    Jan, 2024