ACLMay, 2017

带元数据的神经模型文档

PDF
TL;DR本篇论文基于主题模型，利用变分推断的方法，提出了一种通用的神经网络框架，允许灵活地结合元数据，通过迅速探索备选模型等方法，在保证困惑度、连贯性和稀疏性的情况下，取得了强大的性能。此外，通过对美国移民文章语料库的探索，展示了本框架的潜力。
metadatavariational inferenceneural frameworktopic modelsus immigration
发现论文，激发创造
  • 语料库结构、语言模型和即席信息检索

    本文提出了一种基于语言模型的信息检索算法框架的新方法，并将类似文档群的信息整合进去以提高检索效果；实验结果表明，即使是此新方法中的较简单算法也能优于标准语言模型方法，并且我们的新插值算法在所有测试语料库中均能显著提高精度和召回率表现。

    May, 2004

  • 元数据可能使语言模型更好

    本文研究了在历史文献收藏品中训练语言模型时加入元数据的好处，通过对 19 世纪报纸的案例研究，扩展了 Rosin 等人 2022 年提出的时间遮蔽方法，并比较了将时间、政治和地理信息插入蒙版语言模型中的不同策略。实验证明，向语言模型展示相关元数据具有积极的影响，并可能产生更健壮、更公正的模型。通过在一系列评估任务上进行系统评估，包括伪困惑度、元数据蒙版填充和监督分类。

    Nov, 2022

  • 文本处理的神经变分推断

    通过引入一个通用变分推断框架来构建生成式和条件文本模型的变分推断网络，我们验证了该框架在生成式文档建模和监督式问题回答两个不同的文本建模应用中的有效性。

    Nov, 2015

  • 用于自定义文本分类的分类元数据表示

    使用基向量来有效地将分类元数据合并到基于神经网络的模型的不同部分中，可以大大提高文本分类的性能。

    Feb, 2019

  • 神经动态聚焦主题模型

    本文提出了一种基于神经组态推断的动态聚焦主题模型，该模型能够跟踪主题的出现情况以及活跃度，并在各种任务中实现了比其他主题模型更好的泛化能力和类似的预测能力。

    Jan, 2023

  • 话题作为实体聚类：基于语言模型和图神经网络的基于实体的话题

    我们提出了一种基于聚类的主题建模方法，使用概念实体作为语言无关的表示，并使用图神经网络从百科全书语料库和知识库中提取实体的向量表示，该方法在连贯性度量方面始终优于其他主题模型。

    Jan, 2023

  • 神经多模态主题建模：全面评估

    本文提出了首次系统全面评估多模式主题建模的方法，并提出了两个新的主题建模解决方案和两个新的评估指标。通过对数据集的评估，我们发现我们的模型都能生成连贯且多样化的主题。然而，一个方法优于另一个方法的程度取决于评估指标和数据集的组合，这表明未来需要进一步探索混合解决方案。值得注意的是，我们简明的人工评估与我们提出的评估指标结果一致，这不仅强化了评估指标的可信度，也突出了其在引导未来多模式主题建模研究中的潜力。

    Mar, 2024

  • 主题驱动神经语言模型

    本文介绍了一种神经语言模型，可以通过类似主题模型的架构将文档上下文（而非当前句子）作为简洁的表征加入模型中。实验表明，这种模型在语言模型困惑度和主题相关性方面优于仅基于句子的模型和标准 LDA 主题模型。同时，该模型还具有生成单个主题关联句子的功能，为主题的解释提供了另一种方式。

    Apr, 2017

  • 元数据对科学文献标注的影响：一项跨领域跨模型的研究

    本文系统研究了 19 个领域中的元数据对科学文献标记的影响，并通过三种代表性多标签分类器探索它们在元数据作为附加特征时的性能变化，发现在所有领域中都存在有关元数据的普遍模式，以及在计算机科学和生物医学以外的领域中存在一些独特的模式。

    Feb, 2023

  • NewsEmbed: 预训练文档表示模型对新闻进行建模

    本文提出了一个新颖的方法，使用少量人为监督来挖掘具有语义相关性的新鲜文档及其主题标签，并设计了一个多任务模型 - NewsEmbed，交替使用对比学习和多标签分类来推导通用文档编码器，在多个自然语言理解任务中实现了出色的性能表现。

    Jun, 2021