扰动辅助样本合成：一种新的不确定性量化方法
本文介绍和研究了一类概率生成模型，其中潜在对象是有限时间间隔上的有限维扩散过程，观察变量是在扩散的终端点条件下绘制的。 通过随机控制的视角，我们为这种生成模型的采样和变分推断提供了统一的观点，并量化了基于扩散的生成模型的表现力。我们最后提出并分析了一个无偏模拟的方案，并提供了结果估计值的方差上限。这个方案可以实现为深度生成模型并具有随机层数。
Mar, 2019
通过加入输入扰动以模拟推理时间预测误差，本文提出了一种简单而有效的训练正则化方法，以减轻 Denoising Diffusion Probabilistic Models 模型中的错误积累现象，并在维持较高的采样质量的同时，显著减少训练和推理时间。
Jan, 2023
生成模型的不确定性估计及其提出的内核评分和相关熵的偏差-方差-协方差分解是一项有前景的研究工作。作者利用生成样本提出了无偏且一致的估计方法，证明了方差和预测内核熵可作为图像、音频和语言生成的不确定性度量。这种不确定性估计方法在问答数据集上显示出比现有基线更好的性能，并可应用于闭源模型。
Oct, 2023
我们提出一种不确定性量化框架，利用直接置信度询问和基于样本的一致性方法，为NLP的假新闻抵制解决方案提供更好的校准，通过研究基于样本的一致性方法的校准，评估坚固的数值化提示的性能和分布偏移，结合基于样本的一致性和指示性方法提出一种混合框架，提高大型语言模型在假新闻抵制应用中的可靠性。
Jan, 2024
我们提出了一种综合的基于样本的方法来评估生成模型的质量。该方法能够估计从同一分布中抽取两组样本的概率，从而为评估单个生成模型或比较在相同数据集上训练的多个竞争模型的性能提供了统计学上严谨的方法。该方法能够直接在高维数据上进行操作，无需降维，且不依赖于对真实分布密度的假设，也不依赖于训练或拟合任何辅助模型，而是专注于近似计算数据空间中各个子区域的密度（概率质量）的积分。
Feb, 2024
最近几年，大型语言模型（LLMs）已经变得越来越普遍，提供了卓越的文本生成能力。然而，一个迫切的挑战是它们倾向于做出自信的错误预测，突显出在LLMs中的不确定性量化（UQ）的重要性。尽管以往的研究主要集中在解决aleatoric不确定性，但是包括epistemic不确定性在内的整个不确定性范围仍然不够被探索。通过采样与扰动相结合的UQ方法（SPUQ），我们提出了一个新颖的UQ方法，旨在解决aleatoric和epistemic不确定性。该方法包括为LLM输入生成一组扰动，对于每个扰动进行输出采样，并结合一个聚合模块来推广文本生成任务的采样不确定性方法。通过对各种数据集进行广泛的实验，我们调查了不同的扰动和聚合技术。我们的研究结果显示模型不确定性校准得到了显著改进，平均预期校准误差（ECE）减少了50％。我们的研究结果表明，我们提出的UQ方法为增强LLMs的可靠性和可信度迈出了有希望的一步。
Mar, 2024
在非线性模型中，我们提出了一种基于模拟推理和分数网络的方法，利用多个观测值的共享信息来更好地推断模型的参数，并在各种数值实验中证明了其在数值稳定性和计算成本方面的优越性。
Apr, 2024
对于扩散模型的准确性进行了理论研究，通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析，并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合，明确了如何设计有效生成的训练和采样过程。
Jun, 2024
本研究针对现有图像预测模型解释方法的不足，探讨了扰动掩码的不同组合及其对解释效果的影响。研究表明，RISE方法中的像素归因对所有评估方法均有益，且归因计算对结果的影响最小。该研究为优化图像解释提供了重要见解。
Sep, 2024