本文探讨语言生成模型存在的问题，阐述了模型脆弱性产生的原因，并从模仿学习的角度分析暴露偏差。作者证实了该假设，通过分析误差积累的原因和导致质量低下的积累。

Apr, 2022

本文提出一个系统研究深度生成模型的偏差和泛化的框架，并通过认知心理学实验方法探讨其生成新属性和组合的特点与人类心理学的相似之处。作者发现这些模式与常用模型和结构一致。

Nov, 2018

通过对 Kim and Linzen（2020）的 COGS 基准进行测试，我们发现两种修改后的评估设置均导致 T5（Raffel et al.，2020）的泛化性能降低，暗示以前报道的结果由于预训练期间未受控制的词汇暴露而被高估。

Dec, 2022

本文讨论了深度学习中的一项科学挑战，即解释归纳泛化问题，通过关注经验性评估方法，提出了将泛化度量评估纳入分布强健性框架的看法。

Oct, 2020

本文探究了现有代码生成系统中基于大型语言模型的偏见在特定情况下可能泄漏到生成代码中的问题，提出了一种自动消除提示并暴露各种偏见的框架，并将其应用于三个编码挑战中测试，发现代码生成模型存在特定提示结构和关键字的偏见，最后，我们展示了如何将我们的框架作为数据转换技术，这是更强大的代码生成方向。

Oct, 2022

扩散模型具有令人印象深刻的生成能力，但其所谓的 “曝光偏差” 问题，即训练和抽样之间的输入不匹配，缺乏深入探索。本文通过首先对抽样分布进行分析建模，然后将每个抽样步骤的预测误差归因为曝光偏差问题的根本原因，对扩散模型中的曝光偏差问题进行了系统研究。此外，我们讨论了此问题的潜在解决方案，并提出了一个直观的度量方法。除了阐明曝光偏差问题，我们还提出了一种简单但有效的无需训练的方法，称为 Epsilon Scaling，以缓解曝光偏差。我们通过缩小网络输出（Epsilon）使抽样轨迹明确地接近训练阶段学习到的向量场，减轻了训练和抽样之间的输入不匹配。针对各种扩散框架（ADM，DDPM/DDIM，LDM），无条件和有条件设置以及确定性与随机抽样的实验验证了我们方法的有效性。

Aug, 2023

通过定义通用性测量，本文研究了扩散概率生成模型的泛化能力。我们发现确定性采样器生成的数据与训练集高度相关，因此泛化能力差。通过实验，我们验证了足够训练的扩散模型与经验最优解之间的微小区别对于模型具有关键性影响，并提出了另一个无潜在泛化问题的训练目标，该目标返回与原模型类似的模型，从而验证了训练扩散模型的泛化能力。

May, 2023

本文研究神经语言生成领域的两个问题：曝光偏差和文本退化，定量和定性分析了退化发生前的误差并探讨了它们对 GPT-2 文本退化的影响，结果表明这种文本退化有一部分原因是曝光偏差导致的，同时阐述了误差增强的自我强化机制。

Sep, 2021

本文旨在研究 AI 智能代理器对于陌生和新的因变量的预测和探索问题，提出了一种基于先前经验的较为有效的处理方法，并能够实现零样本预测。

Apr, 2023

使用逐步条件生成模型和贝叶斯优化的方法，通过生成对抗网络来分析分类器在种族和性别方面的偏差。

May, 2019