- 无向量量化的自回归图像生成
我们提出了使用扩散过程模型每个令牌的概率分布，从而可以将自回归模型应用于连续值空间的方法，并通过定义扩散损失函数来替代离散化的令牌化。通过消除向量量化，我们的图像生成器在享受序列建模的速度优势的同时取得了强大的结果，并希望该方法能促进在其他 - 基于单调变分不等式的非线性时序嵌入
通过无监督学习非线性时间序列的低维表示方法，该方法基于每个序列服从自身的自回归模型并通过低秩约束与其他序列相关联的假设，可以用于聚类和分类等机器学习任务，并且在真实时间序列数据上展示了有竞争力的性能和符号文本建模和 RNA 序列聚类的有效性 - 自回归模型胜过扩散模型: Llama 用于可扩展图像生成
LlamaGen 是一种新型的图像生成模型家族，采用大型语言模型中的原始 “下一个标记预测” 范例应用于视觉生成领域，不附带对视觉信号的归纳偏见，可以在适当缩放的情况下实现最先进的图像生成性能。
- 离散数据的简化和推广掩码扩散
掩蔽扩散模型是生成离散数据的自回归模型的替代选择，本论文提出了一个简单且通用的框架，解锁了掩蔽扩散模型的全部潜力，并在 OpenWebText 数据集上训练的模型在困惑度上超过了 GPT-2 模型，并在 5 个零 - shot 语言建模任务 - 使用 Transformer 和 Mamba 学习线性时间逻辑中的系统规约估计
提出自回归模型，从系统追踪中生成线性时间逻辑公式，用于解决规范挖掘问题，并使用多种架构和度量方法进行实验证明其有效性。
- 学习正确的潜在变量是否必然改善上下文中的学习？
对于大型自回归模型，如 Transformer，它们可以通过上下文学习 (即 ICL) 在不学习新权重的情况下解决任务，从而提供了高效解决新任务的方法。本文系统地研究了明确推断任务潜变量的效果，并发现与标准 Transformer 相比，在 - 用偏好优化在规模化的化学空间中搜索能量排名对齐
通过引入一种称为能量排序对齐 (ERA) 的算法，我们可以优化自回归策略，利用显式的奖励函数来生成具有所需属性的分子，该算法与接近政策优化 (PPO) 和直接优化偏好 (DPO) 密切相关，并且在配对的首选项观察数量较少时相对于 DPO 性 - 探索利用模态分解的混合方法比全深度学习模型更有效的流体动力学预测
本研究通过应用时间序列预测到流体动力学问题中，测试了基于深度学习的三种自回归模型，其中一个是与深度学习相结合的混合模型。研究发现，混合模型在具有湍流特性的实验数据中产生更可靠的预测，因为它借助模态分解从物理学角度提取了物理特征，从而实现了对 - σ-GPTs: 一种新的自回归模型方法
通过为输出添加位置编码，可以实时调节样本的顺序，从而提供优越的性能；该方法在不同领域进行评估，能够显著降低生成所需步骤数。
- 关于概率序列模型的高效边缘化
使用自回归模型回答超出单步预测的复杂概率查询，包括未来事件的时机和特定事件在另一事件发生之前的可能性。通过开发一类宽泛的、高效的近似技术，对顺序模型中的边缘化进行建模。这些技术仅依赖于对预先训练的自回归模型的下一步条件分布的访问和采样，包括 - 与协作学习一起利用多样的建模背景进行神经机器翻译
本研究提出了一种新颖的通用协作学习方法 DCMCL，在这种方法中，自回归模型（AR）和非自回归模型（NAR）被视为协作者，通过令牌级相互学习和序列级对比学习，在两种模型之间层次化地利用双向语境信息。广泛的实验结果表明，所提出的 DCMCL - 重复改进语言模型嵌入
提供了一种解决自回归模型的架构限制的简单方法，即 “回声嵌入”，通过在上下文中重复输入并从第二次出现中提取嵌入，使得提前的标记嵌入能够包含后面的标记的信息，从而最大程度地利用高质量 LLMs 进行嵌入。在 MTEB 榜单上，回声嵌入在零 - - Pard：无序置换自回归扩散图生成
PARD 是一个将扩散模型与自回归方法结合的置换不变自回归扩散模型，通过使用特定的局部顺序，以块状的自回归方式生成图。它在没有额外特征的情况下，在分子和非分子数据集上取得了最新水平的性能，且可以扩展到包含 1.9M 个分子的大型数据集。
- t-DGR：一种基于轨迹的连续决策深度生成回放方法
深度生成回放在决策任务的连续学习中作为一种有希望的方法出现。本文提出了一种简单、可伸缩且非自回归的方法，使用生成模型根据轨迹时间步生成任务样本来解决遗忘问题，并在持续世界基准测试中达到了最先进的性能。
- Emage: 非自回归式文本到图像生成
非自回归模型在生成图像时具有高效生成大量图像标记、低推理延迟等特点，与自回归模型相比，其参数规模为 346M，使用一台 V100 GPU 在 1 秒内生成了一张 256×256 像素的高质量图像。
- IPAD：一种基于迭代、并行和扩散的场景文本识别网络
提出了一种使用并行和迭代解码器，并采用易先原则解码策略的替代方案，将文本识别视为基于图像的条件文本生成任务，并采用离散扩散策略，确保双向上下文信息的穷举性探索。大量实验证明，该方法在基准数据集上取得了优越的结果，包括中英文文本图像。
- 关于基于解码器的多语言模型跨语言提示调优的分析
多语言模型中，通过参数高效微调和基于令牌的提示微调，令牌提示微调在所有语言上实现了与或更好的性能，对低资源语言的性能提升更为有效，这一现象与多语言模型的标记化方案有关。
- Mirasol3B：面向时间对齐和上下文多模态自回归模型
我们提出了一种多模态模型 Mirasol3B，通过自回归机制，将多媒体输入分别处理并建模，同时使用分段和合并机制来处理视频和音频序列的长依赖性，从而实现了在多模态基准测试上的最佳结果。
- 大型语言模型的提示速写
在这项工作中，我们通过提出提示素描的新提示范式来解决使用序列查询大型语言模型 (LLMs) 的许多最近提示策略中存在的问题，该模型不仅通过完成提示来回答，而是通过在模板中预测多个变量的值来回答，从而使用户在生成过程中具有更多的控制，同时优化 - 对比模仿生成时间序列
一种结合自回归模型和对抗模型的生成框架，通过训练一个本地的过渡策略和一个全局的能量模型来生成时间序列数据，以模拟其连续行为，并在实证分析中验证其性能。