Jun, 2024

GAMA: 具有先进音频理解和复杂推理能力的大型音频语言模型

PDF
TL;DR提出了 GAMA（一种新型通用大型音频语言模型）来解决非语音声音和非语言言语的感知和理解问题。通过集成 LLM 与多种音频表示形式以及利用合成生成的指令调节数据集对其进行训练，实现了音频理解和复杂推理的能力。通过自动化和专家评估，表明 GAMA 在各种音频理解任务中表现优于文献中其他 LALM 模型，具有 1%-84% 的优势。
non-speech soundsnon-verbal speechaudio understandingcomplex reasoninglalms
发现论文，激发创造
  • CompA：音频语言模型中的组合推理差距解决方案

    通过 ALM 和 CLAP 的训练方法，本研究提出了 CompA，用于评估 ALMs 的组合推理能力，并发现现有的 ALMs 在组合推理方面的表现仅略好于随机选择，而通过改进训练方法和引入模块化对比损失的 CompA-CLAP 显著提高了组合推理能力。

    Oct, 2023

  • AudioGPT：理解与生成语音、音乐、声音和说话人头像

    本文提出了一种名为 AudioGPT 的多模 AI 系统，该系统结合了基础模型来处理复杂的音频信息和解决许多理解和生成任务，以及支持口语对话的输入 / 输出接口（ASR，TTS），并通过一系列实验证明了 AudioGPT 在多轮对话中具有语音、音乐、声音和对话理解和生成任务的能力。

    Apr, 2023

  • GAMA: 通用自动化机器学习助理

    GAMA 是一个模块化的 AutoML 系统，支持不同的 AutoML 和后处理技术，并且记录和可视化搜索过程，支持易于对比的评估，有望为 AutoML 研究提供帮助。

    Jul, 2020

  • Video-LLaMA: 一种面向视频理解的指令优化的音视频语言模型

    Video-LLaMA 是一种多模态框架，通过将预训练的视觉和音频编码器与预训练的大型语言模型结合，实现对视频内容的理解，具有捕捉视觉场景中的时间变化和整合音频 - 视觉信号等优势，因此被视为具有潜力的音视频 AI 助手原型。

    Jun, 2023

  • AQUALLM：利用大型语言模型生成音频问答数据

    这篇研究论文介绍了一种基于大型语言模型的可伸缩的 AQA 数据生成流程 (AQUALLM 框架)，利用现有的音频描述注释并结合最先进的语言模型生成了丰富、高质量的 AQA 数据集，同时提供了三个广泛和高质量的 AQA 基准数据集，该框架和数据集推动了 AQA 研究的进展，并且所训练的模型在性能上优于现有的最先进模型，而且相比人工注释的训练数据，本数据集上训练的模型表现出更强的泛化能力。

    Dec, 2023

  • AIR-Bench: 大规模音频语言模型的生成理解基准评估

    近期，为人 - 音频交互所提出的指令遵循型音频语言模型引起了广泛关注。然而，由于缺乏评估以音频为中心的交互能力的基准，这一领域的发展受阻。本文引入了 AIR-Bench（音频指令评测基准），这是首个旨在评估音频语言模型在理解各种类型音频信号（包括人声、自然声音和音乐）以及在文本格式下与人类互动方面的能力的基准。AIR-Bench 包括两个维度：基础和对话评测。通过实验证明，使用 GPT-4 评估生成的假设得分与人工评估结果之间存在高度一致性。通过评估结果揭示现有 LALMs 的局限性，AIR-Bench 可以为未来研究方向提供启示。

    Feb, 2024

  • GAMR: 一种深度引导关注模型用于 (视觉) 推理

    本文介绍了一个用于视觉推理的新模块 —— 带有引导注意力的视觉推理模型（GAMR），它通过选择和路由任务相关的视觉信息进入记忆的注意力移动序列来实现主动视觉理论。实验证明，GAMR 能够以稳健和高效的方式学习视觉任务，并能够在全新的推理任务上实现零 - shot 泛化。研究结果支持需要在注意力和记忆之间进行关键相互作用，以动态维护和操纵任务相关视觉信息来解决复杂视觉推理任务的认知理论。

    Jun, 2022

  • 关于 LLMs 决策能力的探究：在多智能体环境中评估 LLMs 的游戏能力

    通过 Game Theory 基于 GAMA-Bench 框架评估 LLMs 的决策能力，研究发现 GPT-3.5 在鲁棒性方面表现出色，但其概括能力相对有限，通过 Chain-of-Thought 等方法可以提高其性能；此外，评估发现 GPT-4 在 GAMA-Bench 上表现最好，得分为 72.5，而 GPT-3.5 的不断更新也标志着模型智能的显着提高。

    Mar, 2024

  • 情感 - LLaMA: 多模态情感识别与推理，通过指导调优

    为了解决情感识别中的单模态方法在捕捉真实世界情感表达复杂性方面的局限性，我们提出了 MERR 数据集和 Emotion-LLaMA 模型，通过整合音频、视觉和文本输入，显著提高情感识别能力，并在 evaluations 中取得了优异的成绩。

    Jun, 2024

  • 使用音频启动大型语言模型进行通用语音摘要

    利用大型语言模型的处理和推理能力，我们引入了一个语音摘要的框架。该框架结合了经过调整的指令型语言模型和将语音转换为令牌表示的音频编码器，以使语言模型能够解释语音输入，并可根据输入模态产生一致的响应。与先前的方法不同，我们的方法能摘要任意领域的口述内容，并通过变化语言模型提示策略产生不同风格的摘要，实验证明我们的方法优于基于语音识别和语言模型的级联基线模型。

    Jun, 2024