- COLING神经多模态主题建模:全面评估
本文提出了首次系统全面评估多模式主题建模的方法,并提出了两个新的主题建模解决方案和两个新的评估指标。通过对数据集的评估,我们发现我们的模型都能生成连贯且多样化的主题。然而,一个方法优于另一个方法的程度取决于评估指标和数据集的组合,这表明未来 - ICLR主题建模的多目标对比优化
通过引入一种新的基于主题向量集合的对比学习方法,并将其明确地作为基于梯度的多目标优化问题,本研究旨在实现一个平衡 ELBO 和对比目标之间的权衡的帕累托稳定解,广泛的实验证明我们的框架在主题连贯性、主题多样性和下游性能方面始终产生更高性能的 - ACL超越自动化评估指标:在实践中评估主题模型在社会科学内容分析任务上的能力
通过对话题模型进行评估,发现神经网络模型(NTMs)在实际任务中的效果优于传统模型,且自动评估指标无法提供全面的话题建模能力。
- 神经主题模型综述:方法、应用和挑战
综述了神经主题模型(Neural Topic Models)的方法、应用和挑战,将当前的神经主题模型方法按网络结构进行系统分类,并介绍了在短文本和跨语言文档等多种场景中的神经主题模型应用。还讨论了基于神经主题模型构建的各种热门应用,最后指出 - 短视频与心理健康:知识引导的多模态神经主题模型
通过应用知识引导的多模态神经主题模型,我们成功地预测了短视频对观众的抑郁影响,并发现了与抑郁影响相关的医学主题。
- 有标记的交互式主题模型
通过为神经主题模型添加一种直观的交互方式,即用户可以为主题标记一个词语,并更新主题词使其靠近标记词,从而允许用户根据信息需求优化主题,我们的研究方法通过人机研究评估,证明用户标记能够改善文件排序得分,帮助找到更相关的文档。
- EMNLPDeTiME: 基于编码器 - 解码器的扩散增强主题建模
Diffusion-Enhanced Topic Modeling using Encoder-Decoder-based LLMs (DeTiME) leverages LLMs to produce clusterable embedd - 走向神经主题表示的泛化
提出了一种通过模型相似度来改进神经主题模型的方法,利用数据增强和层次化主题传输距离来计算文档之间的语义距离,从而显著提高神经主题模型在不同语料库中的泛化能力。
- ACLvONTSS: 基于 vMF 半监督神经主题建模和最优传输的模型
本论文提出了一种使用 vMF 变分自动编码器和最优传输的半监督神经主题建模方法 vONTSS,通过提供每个主题的少量关键词,可以生成潜在主题,并优化主题 - 关键词质量和主题分类。实验表明 vONTSS 在分类准确性和多样性方面优于现有的半 - BERTTM:利用预训练语言模型的上下文化单词嵌入来进行神经主题建模
本研究开发了一种新型的神经主题模型,结合了来自预先训练的语言模型 BERT 的上下文化单词嵌入,无需使用任何词袋信息即可推断文档的主题分布,实验表明该模型在文档分类和主题连贯度指标方面优于现有主题模型,并可处理来自新到达文档的未见单词。
- 稻草堆中的话题:超越一致性的话题提取和评估
该研究提出了一种方法,通过对句子和文档的主题进行深入理解,不仅分析数据中的词频,而且可以检测包括非常见词或新词在内的潜在主题,还使用了基于语义空间的异类词和相似性度量等新的评价指标,并通过与人工识别相似性度量的相关系数,在文本挖掘方面展现出 - EMNLP神经主题模型失效了吗?
针对自动化与人工对主题模型的评估之间的关系进行研究,分析了两个与主题模型相关的方面,即它们的稳定性和是否能够与人工确定的分类相匹配,发现神经主题模型在稳定性和对人工分类相匹配方面表现不佳,并通过演示一种简单的集成方法来解决这两个问题。
- COLINGGRETEL: 面向长文本抽取式摘要的图形对比主题增强语言模型
本文提出了图对比主题增强语言模型 (GRETEL),该模型将图对比主题模型与预训练语言模型相结合,以充分利用全局和局部语境语义进行长文本提取式摘要。实验结果表明,该方法优于目前最佳方法。
- ACL神经主题建模优于聚类吗?基于语境嵌入的聚类主题实证研究
本文研究利用高质量的句子表示和适当的词选择方法直接聚类句子表示的方法来生成更连贯和多样化的主题,相比于利用神经模型的方法有更高的效率和简洁性。
- ACL半监督神经主题建模的联合学习方法
本文介绍了标签索引神经主题模型(LI-NTM),它是迄今为止首个有效的上游半监督神经主题模型,并通过文档重建基准测试发现 LI-NTM 在低标记数据制度和带有信息标签的数据集中优于现有神经主题模型,此外,通过消融研究发现,我们共同学习的分类 - 自动主题模型评估是否存在问题?:连贯性的不连贯性
通过将自动话的一致性与两种最广泛接受的人类判断任务进行比较,我们解决了话题模型评估中的验证鸿沟。与人类评估相比,自动评估宣布了一个获胜模型。
- ACL优化编码器以改进单语和零样本多语言神经主题建模
本研究提出多种 fine-tuning 编码器的方法,包括在辅助任务中 fine-tuning,构建新的主题分类任务,将主题分类目标直接整合到主题模型训练中,和继续预训练,实验证明在主题分类和主题模型中直接结合主题分类任务的编码器 fine - 主题建模与深度神经网络:一项调查
本文介绍了神经主题模型研究的最新进展和发展方向,旨在为 AI 社区中的研究人员提供一个全面的概述以促进其在这一快速发展研究领域中进行创新。
- ACL一种分离用户评价中观点和情节的分离式对抗神经主题模型
通过神经话题模型与对抗训练相结合的方法,我们提出了一种自动分离书评和影评中的主观评价与客观描述的主题的神经话题模型,并使用新的 MOBO 数据集对其性能进行了评估。结果显示,该模型有效地提高了主题的连贯性、多样性和情感分类性能。
- ICLR最优输运下的神经主题模型
通过最优传输理论,提出一种新的神经主题模型来更好地实现文档表示和一致 / 多样化的主题,特别地,通过最小化文档的 OT 距离来学习文档的主题分布,实验证明该模型在常规和短文本的文本分析中表现显著优于现有的神经主题模型。