本研究开发了基于随机变分推断的可伸缩算法，用于逼近后验概率分布，并且针对一类大规模的概率模型进行了技术开发；对两个概率主题模型进行了演示并应用于大量文献数据的分析，其中包括自然杂志、《纽约时报》和维基百科，结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断，并且表明贝叶斯非参数主题模型优于参数主题模型；因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。

Jun, 2012

本文针对潜变量模型中的主题模型，首次给出了变分推理算法收敛于全局最优解的分析，也证明了在主题-词矩阵和主题先验的自然假设下，变分推理可有效学习主题模型的最优参数。

Mar, 2015

通过引入一个通用变分推断框架来构建生成式和条件文本模型的变分推断网络，我们验证了该框架在生成式文档建模和监督式问题回答两个不同的文本建模应用中的有效性。

Nov, 2015

本研究比较了针对文本生成的神经生成模型，其中包括变分自编码器，并对其潜在编码的先验分布进行了控制，同时注意到了重构误差，并使用了多种自动和人工评估指标对其进行了全面评估，旨在成为比较文本神经生成模型的新的评估标准。

Apr, 2018

本文探讨了利用深度神经网络对概率模型进行参数化的变分推断方法在语言建模上出现的后验坍塌问题，介绍了多种解决方案和模型扩展，并通过贝叶斯优化系统性比较了这些方法的效果和差异，同时提供了一些实践建议。

Apr, 2019

本篇论文研究了使用预训练语言模型在情感分析任务，尤其是针对少量数据的方面-基础情感分析，提出了一种生成式语言模型来处理抽取方面、抽取类别、预测极性等任务，并证明了这种方法在多任务、少样本学习上比以前的方法有更好的表现。

Apr, 2022

本文旨在提出一种控制生成令牌级别的模板不可知方法，即引入蒙特卡罗丢失、边缘非可能性学习和最小化熵等方法，以提高原始学习效果和减少错误。实验表明，该方法在各种生成模板上均具有良好的效果。

Jun, 2023

我们介绍了一个贝叶斯学习模型来理解大型语言模型的行为。我们探讨了大语言模型的优化指标，基于对下一个标记的预测，并开发了一个基于此原则的新颖模型。我们构建了一个理想的生成文本模型，通过具有先验信息的多项式过渡概率矩阵表示，并研究了大语言模型如何逼近该矩阵。我们讨论了嵌入和多项式分布之间的映射的连续性，并提出了狄利克雷逼近定理来近似任何先验。此外，我们展示了大型语言模型的文本生成如何符合贝叶斯学习原理，并深入探讨了其在上下文学习中的影响，特别是解释了为什么在更大的模型中，提示被视为要更新的样本。我们的研究结果表明，大型语言模型的行为与贝叶斯学习一致，为它们的功能和潜在应用提供了新的见解。

Feb, 2024

在生成式语言模型和情感分析的领域中，针对现有的评估方法进行重新审视和重构，强调了针对生成式模型的复杂性，并提出了一份全面的指导方针以确保准确反映生成能力的情感分析评估。

Apr, 2024

本研究解决了现有生成模型在推断模型级协变量方面的不足，通过扩展基于嵌入的表示方法，提出了一种新的“相似性”概念。这种方法有效地提高了模型级推断任务的准确性和效率，具有重要的应用潜力。

Oct, 2024