EMNLPOct, 2023

DeTiME: 基于编码器 - 解码器的扩散增强主题建模

PDF
TL;DRDiffusion-Enhanced Topic Modeling using Encoder-Decoder-based LLMs (DeTiME) leverages LLMs to produce clusterable embeddings and generate highly clustered topics with relevant content, showcasing efficiency and adaptability.
neural topic modelslarge language modelsdiffusion-enhanced topic modelingencoder-decoder-based llmsclusterability
发现论文，激发创造
  • 动态嵌入主题模型

    该研究采用动态主题模型和词嵌入模型组合设计了一种动态嵌入主题模型，通过向每个时间步长中的嵌入表示赋值主题，该模型能够学习到平滑的主题轨迹，并在三个不同的语料库上发现，在文档完成任务中，该模型优于动态 LDA，而且比 LDA 更易于训练。

    Jul, 2019

  • textTOvec: 深度上下文化的神经自回归主题模型，采用分布式组合先验

    本文提出了一种名为 ctx-DocNADE 的新颖的神经自回归主题模型，将 TM 和 LM 的两种学习词出现意义的学习范例组合在一起，通过嵌入词静态信息的输入，显著改善了小语料库和短文本中的词 - 主题映射，并在不同领域的 6 个长文本和 8 个短文本数据集上展示出了优越的泛化能力、可解释性和适用性。

    Oct, 2018

  • 关键词辅助的嵌入式主题模型

    本文提出了关键词辅助嵌入式主题模型（KeyETM)，它使嵌入式主题模型（ETM）得以利用用户先前领域知识中的信息，从而在量化指标和主题干扰任务的实验中展现了优秀的表现，而不仅仅是将话题模型作为无监督模型。

    Nov, 2021

  • TEncDM：理解语言模型编码空间中扩散模型的属性

    本文介绍了一种名为 TEncDM（Text Encoding Diffusion Model）的新方法，通过在语言模型编码空间中训练模型，使用基于 Transformer 的解码器和自条件机制，实现了文本生成任务中优于现有非自回归模型的效果。

    Feb, 2024

  • 基于 Transformer 表示的概率主题建模

    我们提出了 Transformer-Representation Neural Topic Model (TNTM)，它将基于变压器的嵌入空间中的主题表示优势与概率建模相结合，利用变分自编码器 (VAE) 框架提高推理速度和建模灵活性，实验结果表明，我们提出的模型在嵌入连贯性方面达到了各种最先进方法的结果，并且保持了几乎完美的主题多样性。

    Mar, 2024

  • 深度潜在位置主题模型用于文本边网络的聚类和表示

    本研究介绍了一种基于概率模型和可变图自动编码器方法的 Deep-LPTM 模型聚类策略，使节点和边在两个嵌入空间中构建联合表示，以解决社交网络中的节点聚类和数据可视化等问题，并在 Enron 公司的电子邮件数据上进行了验证。

    Apr, 2023

  • DeMPT: 解码增强的多阶段提示调整，使 LLM 更好地理解上下文并提供翻译

    该论文通过提出一种名为 Decoding-enhanced Multi-phase Prompt Tuning（DeMPT）的选择性适应方法，使得仅通过解码器的大型语言模型能够有针对性地模拟和利用句内和句间上下文，并在语篇建模中显著改进模型性能。

    Feb, 2024

  • 大型语言模型在扩散模型中的提示编码作用探索

    利用新提出的框架，将大型语言模型与文本到图像生成模型灵活地集成在一起，并通过消除固有的位置偏差和增强文本表示能力提高预测性能。

    Jun, 2024

  • 具有深度相互信息估计的神经主题建模

    本研究提出了一种新颖的神经话题模型（NTM-DMIE），可在无监督文本挖掘中应用。该模型结合了深度互信息估计和对抗学习，进一步保留文本输入的代表信息，并通过全局和局部互信息来维护输入文档中的丰富信息，并在几个度量标准方面表现出良好的性能。

    Mar, 2022

  • D2LLM：分解和蒸馏的大型语言模型用于语义搜索

    D2LLMs-Decomposed and Distilled LLMs combine efficient bi-encoders with pooling by multihead attention and interaction emulation module, achieving nuanced understanding and pre-computability, surpassing baselines in various tasks.

    Jun, 2024