May, 2023

i-Code V2：基于视觉、语言和语音数据的自回归生成框架

PDF
TL;DR文章提出了 i-Code V2，这是第一个能够从任何视觉、语言和语音数据组合中生成自然语言的模型，它通过利用最先进的单模态编码器将各类模态组合并映射到一个共享表征空间，并使用自回归解码器从这些表征中生成语言词汇。i-Code V2 在大量数据集上进行端到端预训练，通过文本补全目标实现泛化在任意模态组合上，展示出了多模态预训练在各种任务和信号方面的强大性能。
发现论文，激发创造
  • i-Code: 一种集成且可组合的多模态学习框架

    该论文提出了一种自我监督的预训练框架 ——i-Code，用户可以将视觉、语音和语言的模态灵活地组合成统一的多用途向量表示，通过融合网络使用新颖的注意机制和其他架构创新来从不同模态中有效地组合信息，实验证明 i-Code 可以优于现有的技术在五个视频理解任务和 GLUE NLP benchmarks 上取得最先进的表现。

    May, 2022

  • VioLA: 面向语音识别、合成和翻译的统一编解码器语言模型

    本研究提出了 VioLA 模型，它是一个单自回归 Transformer 解码器网络，通过多任务学习框架，将涉及语音和文本的各种跨模态任务统一为条件编解码器语言模型任务。该模型通过离线神经编解码器将所有语音话语转换为离散标记，进而将所有任务转换为基于标记的序列转换问题，进而自然地使用一个条件语言模型处理。研究表明，VioLA 模型可良好地支持单模和跨模任务，并且解码器模型优于强基线性能。

    May, 2023

  • i-Code Studio：一个可配置的、可组合的综合人工智能框架

    文章提出了一个配置和可组合的框架 i-Code Studio，用于处理 AGI 中的多模态任务，并且成功地在影片文本检索、语音翻译、视觉问答等多个任务中实现了出色的结果。

    May, 2023

  • 代码交替文本的深度生成模型

    引入了一种新型的变分自编码器 (VACS)，专门针对混合语言现象，利用合成的混合语料库来提高自然语言处理任务的表现，结果表明使用合成的混合语料库与自然的单语库相比，生成的模型可以显著地减少困惑度 (33.06%)。

    Jun, 2019

  • 非自回归序列到序列视觉语言模型

    通过多路推断并使用 Query-CTC 损失函数训练的并行解码序列到序列视觉 - 语言模型（NARVL），不再限制为条件分布，能够建模多个推断路径的联合分布，从而在推断时减少了线性复杂度与顺序生成的常态联合推断模式相比达到了与最先进自回归模型相当的性能提升，并且速度更快。

    Mar, 2024

  • Design2Code: 前端工程自动化的实现程度如何？

    通过综合评估，我们发现 GPT-4V 在将视觉设计转换为代码实现的任务中表现最佳，其生成的网页在视觉外观和内容方面可以替代原始参考网页的 49％，并且在 64％的情况下被认为比原始参考网页更好。

    Mar, 2024

  • CoDi-2: 上下文、交错和交互的任意生成

    CoDi-2 是一种多功能且互动的多模态大型语言模型，能够在任意输入 - 输出的模态范式下遵循复杂的多模态交织指令、进行上下文学习、推理、聊天、编辑等。通过对语言和模态进行编码和生成的对齐，CoDi-2 赋予大型语言模型不仅理解复杂的模态交织指令和上下文示例的能力，还能在连续特征空间中自动生成基于现实且连贯的多模态输出。

    Nov, 2023

  • 通过顺序自回归打造数据高效的大型视觉模型

    该论文研究了一种高效的基于自回归的视觉模型，通过有限的数据集在测试阶段展示了其在高层次和低层次语义理解等各种视觉任务上的能力，减少了参数占用以及训练数据要求，为通用视觉模型领域的可持续性和可访问性提供了重要进展。

    Feb, 2024

  • 统一 IO 2：使用视觉、语言、音频和动作扩展自回归多模态模型

    我们提出了 Unified-IO 2，这是第一个能够理解和生成图像、文本、音频和动作的自回归多模态模型。通过将输入和输出（图像、文本、音频、动作和边界框等）进行分词，在共享语义空间中统一不同的模态，并使用单个编码器 - 解码器变换器模型进行处理。通过从多样化来源的大型多模态预训练语料库中使用多模态混合去噪目标对模型进行从头训练，我们提出了各种架构改进来稳定模型训练。为了学习广泛的技能，如遵循多模态指令，我们构建并在包含提示和增强的 120 个数据集的集合上进行微调。通过一个统一的模型，Unified-IO 2 在 GRIT 基准测试中实现了最先进的性能，并在超过 35 个基准测试中取得了强大的结果，包括图像生成和理解、自然语言理解、视频和音频理解以及机器人操控。我们将所有模型发布给研究社区。

    Dec, 2023

  • VALL-E 2: 神经编码语言模型为人类水平的零 - shot 文本到语音合成器

    VALL-E 2 是零样本文本到语音合成领域最新的神经编解码模型，首次实现了人类水平的合成，并引入了两个重要的改进：重复感知采样和编解码编组建模。实验结果表明 VALL-E 2 在语音鲁棒性、自然程度和说话者相似性方面均超过了之前的系统，在 LibriSpeech 和 VCTK 数据集上取得了人类水平的合成效果，具有很大的潜在应用价值。

    Jun, 2024