这项研究揭示了生成型人工智能模型在超人能力生成方面表现出色，但在理解能力方面远远落后于人类，从而提出了 “生成型人工智能悖论” 假说，并通过对语言和图像模式下的控制实验进行了验证。

Oct, 2023

通过对条件扩散模型的控制实验研究，我们发现生成模型在组合推理任务上的性能是突然出现的，其组合能力取决于底层数据生成过程的结构，并在生成非分布样本时需要更多的优化步骤。

Oct, 2023

本文开发了一个框架，以严格研究在混合数据集（包括真实和合成数据）上训练生成模型对它们的稳定性的影响。通过在 CIFAR10 和 FFHQ 上迭代训练常规流和最先进的扩散模型，我们在合成和自然图像上经验验证了我们的理论。

Sep, 2023

通过统计模式识别语言提供了一个框架，量化了针对评估上下文的人类生成内容和机器生成内容之间的差异，描述了当前的方法并演示了如何使用该框架评估生成模型在向人类能力逼近的过程中的进展。

Sep, 2023

通过对一系列广泛而系统的实验，本文展示了：（1）自回归 Transformer 模型可以学习训练数据中的组合结构，并能够推广到指数甚至组合数量的函数；（2）通过生成中间输出来组合函数比不生成中间输出更有效地推广到未见过的组合；（3）训练数据对模型组合未见过的函数的能力有显著影响；（4）模型后半部分的注意力层对于组合性至关重要。

Nov, 2023

本研究证明了自然语言变换器可以支持更通用的战略建模，特别是对于文本存档游戏。我们的 Chess Transformer 在 2.8 百万张国际象棋棋局的训练中能够生成合理的策略和经典开局的局面，加入了与人交互的方法可以正确过滤非法移动并挑战变压器的棋局。未来的研究将构建在这个变换器的基础上，在其他具有从简单但富有表现力的玩家注释中捕捉底层复杂规则语法的策略游戏中特别发挥作用。

Aug, 2020

本文利用 “chain of hindsight” 方法在强化学习中训练了一个能够直接综合多个轨迹信息的 transformer 模型，并通过在 D4RL 和 ExoRL 基准测试中的表现证明了它的竞争力和可伸缩性。

May, 2023

通过大量人工生成的内容进行训练，AI（人工智能）图像合成能够生成与其训练数据在视觉外观上相匹配的语义连贯的图像。我们展示了这些生成型 AI 模型在重新训练时即使只是重新训练少量自己生成的内容，也会产生高度畸变的图像。同时我们还展示了这种畸变不仅限于用于重新训练的文本提示，一旦受到毒害，这些模型在仅仅通过真实图像重新训练后依然难以完全恢复。

Nov, 2023

本研究探讨了采用 transformer-based model 方法训练的多用途强化学习代理程序在 Atari 游戏中的表现，发现使用 Multi-Game Decision Transformer 模型的性能和可伸缩性最佳，并提供预训练模型和代码以鼓励该方向的进一步研究。

May, 2022

这篇论文提出了一种基于知识外推的对因果推断的新方法，通过对抗训练生成对抗网络，即可实现对难以使用传统因果图构建的复杂数据分布的可解释性推断，并在很多场景下取得了优异的性能表现。

May, 2022