autoregressive generative models | BriefGPT

关键词autoregressive generative models

搜索结果 - 7

通过结构化偏好生成改进离散扩散模型
通过引入结构化的前向过程，改进离散扩散模型，提高对离散数据类型的生成性能。
PDFa month ago
Alirector：对齐增强的中文语法错误修正器
本文提出了一种用于解决过度更正问题的对齐增强纠错模型，适用于序列到序列模型和仅具有解码器的大型语言模型。该方法通过训练纠错模型生成源句子的初始纠错，并将其与源句子结合，经过对齐模型进行另一轮纠错，以确保对齐模型专注于潜在的过度更正。此外，为
PDF5 months ago
AdaCat: 自适应离散化用于自回归模型
通过提出一种自适应的分类离散化方法，优化自回归生成模型中的连续数据分布，提高参数效率，并在现实世界的数据、图像、音频和轨迹中改善密度估计，同时改进了基于模型的离线强化学习中的规划。
PDF2 years ago
Autoregressive 生成模型视为基于能量的模型能够更优化
本文介绍了一种名为 E-ARM 的独特方法，用于训练自回归生成模型。该方法利用了 softmax 操作的额外自由度，使得自回归模型本身成为一种测量输入可能性的基于能量的模型，从而提高了自回归生成模型的效果，并减轻了暴露偏差问题和增加了时间上
PDF2 years ago
RITA：扩展生成蛋白质序列模型的研究
本文提出了 RITA: 一套自回归的生成模型，用于蛋白质序列，具有高达 12 亿个参数，训练了超过 2.8 亿个属于 UniRef-100 数据库的蛋白质序列。我们首次系统性研究了自回归变压器在蛋白质领域中的能力随着模型大小的发展，我们评估
PDF2 years ago
声学模型的缩放率
本文研究机器学习中的自回归生成模型和声学模型，探讨其性能和规模之间的比例关系，通过预测各项损失量，建立规模预测和性能选择间的联系，提出了几个调整性能的超参数的方案
PDF3 years ago
PixelSNAIL: 一种改进的自回归生成模型
本文介绍了一种将因果卷积与自注意力相结合的新型生成模型，将其应用于密度估计任务，并在 CIFAR-10 和 ImageNet 上取得了最先进的结果。
PDF7 years ago