AudioLM 是一个高质量的音频生成框架，它通过将输入音频映射为离散令牌序列，并在该表示空间中将音频生成视为一种语言建模任务。我们提出了一种混合标记方案，以实现重建质量和长期结构两个目标，并通过大量的音频波形语料库进行了训练，使其可以生成自然，连贯的音频持续时间。不需要文件、笔录或注释，同时对未见过的讲话者也可以维持其语法和语义合理的音频持续时间。此外，我们还展示了如何通过生成连贯的钢琴音乐持续时间，超越了语音。

Sep, 2022

PaLM 2 是个新的最先进的语言模型，比其前身 PaLM 在多语言和推理能力方面更具优势，同时也更加计算效率高。通过在英语、多语言和推理任务上的全面评估，我们证明了 PaLM 2 在不同模型大小的下游任务上的质量显著提高，同时推理速度更快、更高效，这提高了交互的自然节奏。因此，PaLM 2 达到了各种任务和能力的最先进水平。

May, 2023

利用大型语言模型的处理和推理能力，我们引入了一个语音摘要的框架。该框架结合了经过调整的指令型语言模型和将语音转换为令牌表示的音频编码器，以使语言模型能够解释语音输入，并可根据输入模态产生一致的响应。与先前的方法不同，我们的方法能摘要任意领域的口述内容，并通过变化语言模型提示策略产生不同风格的摘要，实验证明我们的方法优于基于语音识别和语言模型的级联基线模型。

Jun, 2024

PaLM 是一种混合的语法分析器和神经语言模型，旨在提高语言建模性能，并可用于无监督的成分句法分析，有助于语言建模性能的进一步提高

Sep, 2019

本文提出了一种名为 AudioGPT 的多模 AI 系统，该系统结合了基础模型来处理复杂的音频信息和解决许多理解和生成任务，以及支持口语对话的输入 / 输出接口（ASR，TTS），并通过一系列实验证明了 AudioGPT 在多轮对话中具有语音、音乐、声音和对话理解和生成任务的能力。

Apr, 2023

大型语言和语音模型 (LLaSM) 是一个经过端到端训练的大规模多模态语音语言模型，具备跨模态对话能力，能够遵循语音和语言指令。LLaSM 通过提供更便捷和自然的方式，展示了人类与人工智能进行互动的方式。

Aug, 2023

本研究介绍了一个大型多语言多模态模型 Palo，它提供了 10 种主要语言（包括英语、中文、印地语、西班牙语、法语、阿拉伯语、孟加拉语、俄语、乌尔都语和日语）的视觉推理能力，总计覆盖了约 50 亿人口（世界总人口的 65%）。我们的方法采用半自动翻译方式，使用经过精调的大型语言模型将英语的多模态指令数据集转化为目标语言，以确保高语言准确性并保证可扩展性。不同语言指令的融合帮助我们提高跨多种语言的模型性能，尤其是对于印地语、阿拉伯语、孟加拉语和乌尔都语等少数被代表的语言。我们通过三个规模（17 亿、70 亿和 130 亿参数）的训练展示了该模型的普适性和可扩展性，观察到与强基线相比具有显著改进。同时，我们提出了第一个多语言多模态基准，用于评估不同语言之间的视觉推理能力。

Feb, 2024

研究提出了一种具有体感的语言模型，其可以将现实世界的传感器和语言模型直接结合起来，从而实现语言和感知之间的链接，并且在多个机器人任务、图像问题解答和字幕生成等方面取得了良好的表现。

Mar, 2023

PaLI 是一种简单、模块化和可扩展的神经网络模型，利用大规模预训练的 encoder-decoder 语言模型和 Vision Transformers 来实现视觉和语言的联合建模，并在多种语言的情况下生成文本并完成多模态任务，此外，通过基于包含超过 100 种语言的 10B 个图像和文本的新图片 - 文本训练集创建大规模多语言混合预训练任务，实现了多项视觉和语言任务的最新水平。

Sep, 2022

本文探究了训练在多种语言但不是平行语料库上的大型语言模型（LLMs）在语言翻译方面的惊人能力，尤其是针对 Pathways 语言模型（PaLM）的表现最优。我们研究了选择翻译示例的各种策略，并得出结论，考虑到示例的质量是最重要的因素。通过优化的提示，我们重新评估了 PaLM 的机器翻译性能，并发现它的性能虽然令人印象深刻，但仍然落后于最先进的监督系统。我们最后提供了 PaLM 的机器翻译输出分析，揭示了一些有趣的特性和未来工作的前景。

Nov, 2022