Jan, 2024

PIXAR: 像素空间中的自回归语言建模

PDF
TL;DRPIXAR 是第一个基于像素的自回归型语言模型，它不依赖预定义的词汇表，可以用于自由形式的生成任务，并与先前的编码器 - 解码器模型在文本表示学习性能方面保持一致。通过简单的对抗预训练，PIXAR 的可读性和性能得到了显着提高，使其在短文本生成任务上与 GPT2 具有相媲美的表现。这为构建可用于自由形式生成任务的开放式词汇语言模型铺平了道路，并对这些具有挑战性的任务中通常的符号输入表示（文本作为标记）的必要性提出了质疑。
open-vocabularypixel-basedlanguage modelsautoregressivetext generation
发现论文，激发创造
  • 非自回归模型词汇扩容用于高效生成式检索

    该论文研究了非自回归语言模型作为生成式检索的更高效的替代方法，并提出了 PIXAR，一种扩展目标词汇的新方法，通过包括多词实体和常见短语（高达 500 万个标记）来减少标记之间的依赖性，并通过推理优化策略在保持低推理延迟的同时实现了好于标准非自回归模型 31.0% 的相对改进 (MRR@10，MS MARCO 数据集)。

    Jun, 2024

  • 像素的语言建模

    该文章介绍了 PIXEL，一种基于像素的预训练语言模型，通过将文本渲染为图像，PIXEL 可以处理不同语言，特别是非拉丁文字。实验发现 PIXEL 在语法和语义处理方面表现优异，且对于噪声文本的输入更为稳健。

    Jul, 2022

  • Painter: 教授自回归语言模型绘制素描

    通过生成对应的画笔笔触，我们应用大规模语言模型（LLMs）将用户的文本描述格式转化为草图，实现了自动一代图片生成的先驱性工作。

    Aug, 2023

  • APAR: LLMs 可以进行自动并行自回归解码

    通过并行自回归生成的方法以及与推理解码相结合，可以显著提高大型语言模型的生成速度和性能。

    Jan, 2024

  • 预训练语言模型无助于自回归文本到图像生成

    最新的图像编码器 VQ-VAE 已经能够使用自回归方法进行文本到图像的生成，但是这些方法尚未利用预训练语言模型的适应性，本研究通过调整预训练语言模型，对自回归文本到图像生成进行了探索，发现预训练语言模型的帮助有限，并提供了两方面的解释，即图像标记与文本标记的语义存在显著差异，导致预训练语言模型对它们的建模效果不如随机初始化模型，并且图像文本数据集中的文本标记与正常语言模型预训练数据相比过于简单，导致语言模型能力的灾难性降低。

    Nov, 2023

  • 像素语言模型的文本呈现策略

    像素模型的渲染策略对语言模型的性能有重要影响，使用字符二元组渲染能够提高模型的性能，同时在句子级任务上不会降低处理标记和多语言任务的性能，还能以只有 2200 万参数的更小模型达到与原始 8600 万参数模型相当的性能，分析表明字符二元组渲染产生了更好的模型，但由于补丁频率偏差而导致异性的补丁嵌入空间，突显了图像补丁和记号化语言模型之间的联系。

    Nov, 2023

  • 一种具有概率掩码的语言模型，能够按任意字序进行自回归生成

    本文提出了一种基于掩模模型的概率掩模方案（PMLM），它支持按任意顺序生成文本，并在下游自然语言理解任务上超越了 BERT。

    Apr, 2020

  • 自回归模型胜过扩散模型: Llama 用于可扩展图像生成

    LlamaGen 是一种新型的图像生成模型家族，采用大型语言模型中的原始 “下一个标记预测” 范例应用于视觉生成领域，不附带对视觉信号的归纳偏见，可以在适当缩放的情况下实现最先进的图像生成性能。

    Jun, 2024

  • 掩码非自回归图像字幕生成

    本文提出了一种基于遮码机制的非自回归解码模型，用于生成图像标题。实验结果表明，该模型可以更有效地保留语义内容并生成更多样化的标题。

    Jun, 2019

  • Mask-Predict: 条件掩码语言模型的并行解码

    本文介绍了一种利用掩码语言建模来训练非自回归机器翻译模型的方法，并通过对多个数据集的实验验证，证明该方法在翻译质量和速度方面都优于现有的非自回归翻译模型，并且接近于左到右的变换器模型。

    Apr, 2019