通过为输出添加位置编码，可以实时调节样本的顺序，从而提供优越的性能；该方法在不同领域进行评估，能够显著降低生成所需步骤数。

Apr, 2024

利用预先生成的模型状态进行回收，RecycleGPT 是一种生成式语言模型，具有快速解码速度，通过理论评估和实际测试，在保持高性能的同时实现了 1.4 倍加速，降低了推理延迟。

Aug, 2023

本文介绍了 StockGPT，一种在美国股票每日收益历史数据上直接预训练的自回归 ' 数值 ' 模型。通过将每个收益系列视为标记序列，该模型在理解和预测高度复杂的股票收益动态方面表现出色。利用注意机制，StockGPT 自动学习预测未来收益的隐藏表示。在 2001 年至 2023 年的测试样本中，基于 StockGPT 预测的每日重新平衡的多空投资组合年收益为 119%，夏普比率为 6.5。基于 StockGPT 的投资组合完全解释了动量和长期 / 短期逆转现象，消除了手动构建基于价格的策略的需要，并涵盖了大多数领先的股市因素。这凸显了生成型人工智能在超越人类进行复杂金融投资决策方面的巨大潜力，并证明了大型语言模型的注意机制在完全不同的领域中的有效性。

Apr, 2024

本文介绍了 D-iGPT，这是对 image-GPT 进行改进的一种方法，通过将预测目标从原始像素转移到语义标记上，实现对视觉内容的更高级理解，并通过预测可见标记来补充自回归建模，实现了更好的效果。实验证明，D-iGPT 在 ImageNet-1K 数据集上取得了令人瞩目的成绩，并在下游任务中表现出较强的泛化能力和在分布外样本上的鲁棒性。

Dec, 2023

该研究提出了一个融入下游基线模型并提升其性能的时空预训练框架，其中包括一个时空蒙版自编码器和一个自适应蒙版策略，通过学习时空依赖关系和不同关系的建模，在交通管理和旅行规划方面取得了显著的效果。

Nov, 2023

ChatGPT 在自然语言理解方面取得了显著的成功。为了将 ChatGPT 的基本模式应用于推荐任务，我们在项目索引级别上设计了一个新的聊天框架。我们的创新主要包括模型、训练和推断等三个方面。通过在离线公共数据集和在线 A/B 测试中进行实验证明了我们提出方法的有效性。

Apr, 2024

利用巨大语言模型和 GPT，我们将因果生成引入视频扩散模型中，通过引入因果时序注意力和以帧为提示的设计，我们提出了 Video Diffusion GPT（ViD-GPT），能够在生成每个时刻的帧时获取来自之前所有生成帧的长期上下文。通过引入 kv-cache 机制，我们还能够消除重叠帧的冗余计算，显著提高了推理速度。广泛的实验证明，我们的 ViD-GPT 在长视频生成方面在定量和定性上均取得了最先进的性能。

Jun, 2024

提出了一种基于 PoseGPT 的自回归变换器的方法，该方法可以生成人体运动序列，利用离散的潜在空间使 GPT-like 模型集中于长程信号预测，获得了在几个数据集上实现最先进的结果。

Oct, 2022

提出了 PointGPT 方法来扩展 GPT 模型到点云中进行自回归生成任务的预训练，其通过多个点序列来实现学习潜在的表示，并在各种下游任务中实现了最先进的性能，特别是在 few-shot 学习方面也产生了新的 state-of-the-art 结果。

May, 2023

通过提出地理感知的生成模型 MobilityGPT，该研究利用生成预训练变压器（GPT）将人类移动性建模为一个自回归生成任务，并采用基于引力的抽样方法和道路连接矩阵来确保生成的轨迹符合地理空间限制，在减轻挑战的同时生成高质量、接近真实数据的移动轨迹。

Feb, 2024