Feb, 2023

预训练基础模型综述：从 BERT 到 ChatGPT 的历史

PDF
TL;DR本研究综述了最近的预训练基础模型技术的研究进展，重点探讨了这些技术在文本、图像、图形以及其他数据模态中的应用前景、挑战和机遇，同时也讨论了这些技术的基本组成、现有预训练方法和未来趋势。
pretrained foundation modelsgenerative pre-trainingautoregressive language modeldata modalitiespfm
发现论文，激发创造
  • 预训练模型：过去、现在和未来

    本文全面介绍了预训练模型的历史、最新成果以及未来的研究方向，旨在推进预训练模型应用于下游任务的发展。

    Jun, 2021

  • 自然语言处理的基础模型 - 集成媒体的预训练语言模型

    本书提供了基础模型的研究和应用的综述，介绍了预训练语言模型 BERT、GPT 和序列到序列变换，并讨论了改进这些模型的不同方法，以及 20 个应用领域中表现最佳的模型。

    Feb, 2023

  • GPT-3 家族大型语言模型综述，包括 ChatGPT 和 GPT-4

    这篇综述论文总结了关于 GPT-3 家族大型语言模型的最近研究进展，并指导研究社区未来发展方向。

    Oct, 2023

  • 大规模多模态预训练模型：综述

    本文综述了预训练大型多模态模型的背景、任务定义、挑战、优势以及验证方式，并重点讨论了数据、目标、网络结构、知识增强等方面。此外，文章还给出了模型参数和结果的可视化和分析，并指出了未来的可能研究方向。

    Feb, 2023

  • 图上预训练综述：分类，方法和应用

    本篇论文综述了预训练图模型 (Pretrained Graph Models) 的现状，将现有的 PGMs 基于四个不同维度进行了分类，并探讨了其在社交推荐和药物研究等领域中的应用，最后提出了未来研究方向。

    Feb, 2022

  • 走向图基础模型：调研与展望

    提出了图基础模型（GFMs）的概念，并对其关键特征和技术进行首次全面阐述，然后将现有工作根据其依赖性分为三类，即基于图神经网络和大语言模型。本文不仅提供了对当前图基础模型领域的综合概述，还讨论了这一发展中领域的潜在研究方向。

    Oct, 2023

  • 医学基础模型综述

    基于自我监督方法使用大规模数据集训练的基础模型（FMs）被广泛应用于各个领域，包括医疗保健领域，特别在自然语言处理、医学图像分析、临床大型语言模型和病理组学数据等方面。该综述论文全面概述了 FMs 在医疗保健领域的历史、学习策略、旗舰模型、应用和挑战，并提供了详细的医疗应用分类，同时讨论了 FMs 所面临的挑战和未来研究方向。

    Jun, 2024

  • 基础模型的训练和服务系统：综合调查

    本文全面探讨了基础模型的训练和服务方法，提供了详细的分类，并总结了挑战和未来发展方向。通过全面的讨论和分析，为未来的研究和应用提供了坚实的理论基础和实践指导，促进基础模型系统的持续创新和发展。

    Jan, 2024

  • 基于条件生成的大型语言模型性能基准测试

    本文提出如何将 PLMs 应用到现有应用程序特定的生成基准上，对输入和输出语言等不同维度的 PLMs 在自然语言生成任务方面的优点和局限性进行了深入的实证研究，并分享了在开发新 PLMs 时考虑到的基准生成能力的最佳实践。

    Jun, 2023

  • 基础模型在推进自动驾驶车辆方面的前景角色

    基于人工智能的大规模基础模型在自主驾驶中具有着巨大的应用潜力，能够提升场景理解和推理能力，增强语言和行动命令的认知推理，并改善自主驾驶系统的准确性和可靠性。同时，通过自我监督学习范式下的大规模数据，世界模型可以生成看似真实的未见过的驾驶环境，促进对道路使用者行为的预测和驾驶策略的离线训练，从而提高自主驾驶的安全性和处理长尾分布问题的能力。

    Dec, 2023