深度 de Finetti：从大型语言模型中恢复主题分布

Dec, 2023

深度 de Finetti：从大型语言模型中恢复主题分布

Deep de Finetti: Recovering Topic Distributions from Large Language Models

Liyi Zhang, R. Thomas McCoy, Theodore R. Sumers, Jian-Qiao Zhu, Thomas L. Griffiths

TL;DR使用大型语言模型，我们发现它们能够生成结构完整且连贯的长文本，表明虽然这些模型是基于下一个词的预测进行训练的，但它们必须表示文档的潜在结构。本文研究了潜在主题结构作为文档结构的互补方面，通过将大型语言模型优化与隐性贝叶斯推断相连接来验证我们的假设。我们通过拉普拉斯诱导的神经概率编码机制与连续下降信息论方法推导出来自大型语言模型的统计学抽象，进而通过推导来自大型语言模型的统计学抽象。

Abstract

large language models (LLMs) can produce long, coherent passages of text, suggesting that LLMs, although trained on next-word prediction, must represent the latent structure that characterizes a document. Prior w

large language models latent structure syntax topic structure exchangeable probability distributions

发现论文，激发创造

矩阵：一种用于 LLMs 的贝叶斯学习模型

我们介绍了一个贝叶斯学习模型来理解大型语言模型的行为。我们探讨了大语言模型的优化指标，基于对下一个标记的预测，并开发了一个基于此原则的新颖模型。我们构建了一个理想的生成文本模型，通过具有先验信息的多项式过渡概率矩阵表示，并研究了大语言模型如何逼近该矩阵。我们讨论了嵌入和多项式分布之间的映射的连续性，并提出了狄利克雷逼近定理来近似任何先验。此外，我们展示了大型语言模型的文本生成如何符合贝叶斯学习原理，并深入探讨了其在上下文学习中的影响，特别是解释了为什么在更大的模型中，提示被视为要更新的样本。我们的研究结果表明，大型语言模型的行为与贝叶斯学习一致，为它们的功能和潜在应用提供了新的见解。

Feb, 2024

深度潜在位置主题模型用于文本边网络的聚类和表示

本研究介绍了一种基于概率模型和可变图自动编码器方法的 Deep-LPTM 模型聚类策略，使节点和边在两个嵌入空间中构建联合表示，以解决社交网络中的节点聚类和数据可视化等问题，并在 Enron 公司的电子邮件数据上进行了验证。

Apr, 2023

大型语言模型为传统主题建模方法提供了一种替代方案

本研究旨在探讨大型语言模型（LLMs）在主题提取方面的潜力，并建立评估协议以评估 LLMs 的聚类效果。通过深入实验与评估，总结了采用 LLMs 进行主题提取的优势和限制。

Mar, 2024

科学的相关主题模型

本文提出了相关话题模型（CTM），通过逻辑正态分布，展现留言比例的相关性，我们还推导出了适用于该模型的快速变分推理算法，并将其应用于 Science 1990-1999 年间发表的文章，数据集包括 57M 词，证明 CTM 比 LDA 拟合效果更好，并将其作为大型文本集成探索性工具。

Aug, 2007

主题模型的网络方法

采用随机块模型方法，针对主题建模中存在的问题，提出了一种更具通用性和原则性的框架，该框架能够自动检测主题数和分级群集单词和文档，从而比 LDA 在统计模型选择方面提供更好的主题模型。

Aug, 2017

使用潜在排列进行内容建模

提出一种新的贝叶斯主题模型，以学习语篇级别文档结构，通过知识先验和排列分布约束隐藏式主题分配，实现了全局主题选择和排序的偏向性，并在跨文档对齐，文档分割和信息排序三个不同层级的任务中均获得了较好的表现。

Jan, 2014

预训练语言模型表示的潜空间聚类进行主题发现

本文提出了一种基于 PLM 嵌入的联合潜在空间学习和聚类框架，通过联合建模主题 - 单词和文档 - 主题分布，有效地利用 PLMs 在主题发现方面的强大表示能力和出色语言特征，并在两个基准数据集上生成了比强劲的主题模型更加连贯、多样的主题，并提供更好的基于主题的文档表达形式。

Feb, 2022

Dirichlet 信念网络用于主题结构学习

本文介绍了一个基于多层生成模型的主题模型深度架构，通过该模型可发现可解释的主题层级结构，对于提高主题模型的建模精度和可解释性具有显著作用。

Nov, 2018

解决大型语言模型中的主题粒度和虚构问题用于主题建模

利用直接偏好优化（Direct Preference Optimization）对开源大型语言模型（Large Language Models）进行微调，以解决主题粒度和虚构主题的问题，实现产生更连贯、相关和精确的主题，并减少虚构主题的数量。

May, 2024

大型语言模型中的难以计算的推断摊销

通过使用归约化贝叶斯推理方法从难以通过条件概率分布采样的后验分布中提取样本，我们展示了这种分布匹配模型在 LLM 微调中作为最大似然训练和奖励最大化策略优化的有效替代方法，进而实现了对多步骤推理和工具使用任务的数据高效适应。

Oct, 2023