Nov, 2023

大型语言模型与计算机视觉的融合：简要概述

PDF
TL;DR近期，大型语言模型（LLMs）与计算机视觉（CV）的交叉领域成为人工智能（AI）领域重要的研究领域，驱动了重大的进展。该综述论文探讨了变压器及其后继者在转换器和大型语言模型中的最新进展，强调了其对视觉变压器和 LLMs 的革命潜力。同时通过对多个领先的付费和开源 LLMs 的性能指标的对比分析，揭示了它们的优势和改进空间，并回顾了 LLMs 如何用于解决视觉相关任务的文献综述。此外，该综述还提供了用于训练 LLMs 的全面数据集合，并为 LLMs 的预训练和下游任务的高性能实现提供了洞见。综述通过强调 LLMs 在 CV 上的深刻交叉，指出了集成和先进 AI 模型的新时代的潜在研究和发展方向。
large language modelscomputer visiontransformersvision transformersperformance metrics
发现论文，激发创造
  • 探索视觉 - 语言模型的边界：当前方法和未来方向的综述

    综述了大语言模型与视觉语言模型的最新进展，分析了它们在视觉能力、多模态输入和基准数据集方面的优势和局限性，并提出未来研究的潜在方向。

    Feb, 2024

  • 使用大型语言模型进行可视化标注（CVLLM）：教程

    自动生成可视化工具的标题是很不新鲜的，但是最近大规模语言模型 (LLMs) 的进步为此带来了令人激动的新可能。本文在对信息可视化（InfoVis）原理和过去的标题工作进行简要回顾后，介绍了在通用 LLMs 中使用的神经模型和变压器架构。接下来，我们讨论了它们在 InfoVis 中的最新应用，重点是标题。此外，我们还探讨了这个领域未来的有希望的研究方向。

    Jun, 2024

  • 大型语言模型（LLM）的几个类别：简要调查

    这篇研究论文总结了大型语言模型（LLMs）不同子类的最新发展，包括基于任务的金融 LLMs、多语言 LLMs、生物医学和临床 LLMs，以及视觉语言 LLMs 和代码语言模型。它还强调了聊天机器人和虚拟助手开发领域中的未解决问题，如增强自然语言处理、提升聊天机器人智能性以及解决道德和法律困境，旨在为对基于 LLMs 的聊天机器人和虚拟智能助手技术感兴趣的读者、开发者、学者和用户提供有用的信息和未来方向。

    Jul, 2023

  • 视觉 - 语言预训练模型综述

    本文综述了视觉 - 语言预训练模型在多模态学习上的进展，介绍了编码图像、文本信息的方法，分析了模型中处理文本与图像交互的主流架构以及已有的预训练任务和下游任务，并提出了未来的研究方向。

    Feb, 2022

  • 多模态大型语言和视觉模型综述

    通过对具有多模态能力的 LLM 和 MM-LLM 的当前状况进行广泛回顾，本文涵盖了 LLM 的历史发展、注意力机制在提升模型性能方面的作用，以及 Fine-tuning 和 prompt engineering 等模型调整技术。同时还分析了伦理考虑和挑战，并讨论了开源和专有模型在 AI 研究中的影响。通过这个综述，我们揭示了 MM-LLM 在各种应用中的转型潜力。

    Mar, 2024

  • 大型语言模型的概念与实施调查

    基于 Transformer 架构的大型语言模型（LLMs）的近期进展在自然语言处理（NLP）应用领域展示了显著的拓宽范围，超越了其在聊天机器人技术中的初始应用。本文探究了这些模型的多方面应用，重点关注 GPT 系列，对人工智能（AI）驱动工具在改变编码、问题解决等传统任务上起到的转变性影响进行了研究，同时开辟了在不同行业中进行研究和开发的新方向。从代码解释和图像描述到便于构建交互式系统和推动计算领域的发展，Transformer 模型展示了深度学习、数据分析和神经网络设计相结合的协同作用。本调查报告深入了解了 Transformer 模型的最新研究，突出了其多功能性和在实际应用领域中转型的潜力，从而为读者提供了对 Transformer-based LLMs 在当前和未来实际应用领域的全面理解。

    Mar, 2024

  • 视觉语言变换器：一项调研

    视觉语言任务中，基于预训练的变压器架构在视觉语言建模方面表现出色，为视觉和语言结合的任务带来了类似的进展。

    Jul, 2023

  • 视觉语言预训练模型：一项调查

    本文主要介绍了预训练模型在计算机视觉和自然语言处理中所取得的巨大成功，着重介绍了视觉语言预训练模型 (VLPM) 的重要进展及其结构、预训练和微调策略，并提出了未来三个方向的研究建议。

    Apr, 2022

  • 视觉中可信大规模模型：调查

    大型模型的快速进展在深度学习的各个领域中带来了显著的成绩，但其强大性能而不可信赖的行为成为学术界和工业界面临的挑战。本综述总结了在视觉领域中妨碍大型模型信赖使用的四个相关问题，包括人类误用、易受攻击、内在问题和解释性，通过突出每个主题中的相应挑战、对策和讨论，希望读者能更好地理解该领域，促进大型模型与人类期望的一致性，使可信赖的大型模型成为人类社会的福祉而非灾难。

    Nov, 2023

  • VisionLLM：大型语言模型也是面向视觉中心任务的开放式解码器

    本篇论文提出了一种基于大型语言模型的视觉中心任务框架 VisionLLM，通过将图像视为一种外语并使用语言指令对其进行灵活定义和管理，从而统一了视觉和语言任务的视角，具有不同级别的任务定制能力，成为一种通用的视觉和语言模型。

    May, 2023