本文研究了曝光偏差这一问题，提出了无条件生成作为基本标准，结合隐变量建模和强化学习的探索方法，解决了真实和生成上下文的处理问题，并在语言建模和变分自编码任务中验证了模型的泛化能力。

Oct, 2019

本论文从三个数据集中的多个测试域的实验中，展示了暴露偏差对于幻觉的部分责任，并且证明了避免暴露偏差的 Minimum Risk Training 可以缓解幻觉问题，并说明了暴露偏差在领域转移下更加问题，并且将其与 Beam Search 问题联系起来。因此，即使暴露偏差算法不会增加在领域测试集上的性能，但它们可以提高模型对领域移位的鲁棒性。

May, 2020

本文研究神经语言生成领域的两个问题：曝光偏差和文本退化，定量和定性分析了退化发生前的误差并探讨了它们对 GPT-2 文本退化的影响，结果表明这种文本退化有一部分原因是曝光偏差导致的，同时阐述了误差增强的自我强化机制。

Sep, 2021

扩散模型具有令人印象深刻的生成能力，但其所谓的 “曝光偏差” 问题，即训练和抽样之间的输入不匹配，缺乏深入探索。本文通过首先对抽样分布进行分析建模，然后将每个抽样步骤的预测误差归因为曝光偏差问题的根本原因，对扩散模型中的曝光偏差问题进行了系统研究。此外，我们讨论了此问题的潜在解决方案，并提出了一个直观的度量方法。除了阐明曝光偏差问题，我们还提出了一种简单但有效的无需训练的方法，称为 Epsilon Scaling，以缓解曝光偏差。我们通过缩小网络输出（Epsilon）使抽样轨迹明确地接近训练阶段学习到的向量场，减轻了训练和抽样之间的输入不匹配。针对各种扩散框架（ADM，DDPM/DDIM，LDM），无条件和有条件设置以及确定性与随机抽样的实验验证了我们方法的有效性。

Aug, 2023

本文探究了现有代码生成系统中基于大型语言模型的偏见在特定情况下可能泄漏到生成代码中的问题，提出了一种自动消除提示并暴露各种偏见的框架，并将其应用于三个编码挑战中测试，发现代码生成模型存在特定提示结构和关键字的偏见，最后，我们展示了如何将我们的框架作为数据转换技术，这是更强大的代码生成方向。

Oct, 2022

研究了在生成对话回复时曝光偏差问题及其可能导致的常见回复生成问题，提出了一种自适应开关机制，并使用余弦相似度等度量方法在中文和英文数据集上进行了实验，取得显著改进。

Oct, 2021

通过加入输入扰动以模拟推理时间预测误差，本文提出了一种简单而有效的训练正则化方法，以减轻 Denoising Diffusion Probabilistic Models 模型中的错误积累现象，并在维持较高的采样质量的同时，显著减少训练和推理时间。

Jan, 2023

研究说明链接预测方法在推荐系统中的广泛应用，但当用户系统性地遭受某些相关项目的低曝光时，可能出现曝光偏差。 该研究提出了一种通过已知曝光概率来减轻这种偏差和随之而来的反馈循环的估计器，并提供了一种用于从数据中学习曝光概率的损失函数，经过实验验证可可靠地识别出相关引用。

Jun, 2021

提出使用对比学习来减少低质量文摘的可能性，同时增加黄金文摘的可能性，以解决 Encoder-decoder 模型在训练和推理中的偏差问题，并在实验中证明这种方法有效地提高了最先进模型在不同数据集上的性能。

Aug, 2021

探讨生成式语言模型在数字应用中的广泛使用可能会不经意地引发自我加强学习循环，从而放大现有的语言偏见，这可能会影响未来几代人的语言和认知发展，并强调有必要进行严格的研究，以确保这些强大技术的有效、安全和公平使用，同时保持人类语言的丰富性和多样性。

Jun, 2023