ICLRMar, 2023

一种用于单 / 多标签文本分类的多颗粒度自解释符号神经模型

PDF
TL;DR本文介绍了一种结构化语言模型，该模型将符号概率模型和神经网络相结合，以提高文本分类性能，并能够在自我监督的方式下学习预测组合树，仅需要原始文本和句级标签作为训练数据，从而具有一定的自我解释性。实验结果表明，本方法在下游任务中能够取得良好的预测准确性，同时预测的跨度标签与人类的推理有一定的一致性。
deep neural networksinterpretablilitysymbolic probabilistic modelsstructured language modeltext classification
发现论文，激发创造
  • 神经文本分类的分层解释

    本文提出了一种新的 Hierarchical INTerpretable 神经文本分类器 Hint，它可以自动生成按标签关联的话题的模型预测解释，实验结果表明 Hint 方法在文本分类方面不仅与现有的最先进的文本分类器相当，而且生成的解释比其他可解释的神经文本分类器更符合模型预测，并且更易于被人类理解。

    Feb, 2022

  • 大型语言模型是可解释学习者

    大型语言模型与符号程序的结合可以在构建人类中心预测模型时解决表达力和解释性之间的平衡问题。

    Jun, 2024

  • 一种新的统计关系学习下的神经符号系统

    提出了一种名为 GBPGR 的广义双层概率图推理框架，通过使用统计关系学习启发式地集成了深度学习模型和符号推理，以解决当前人工智能领域中深度学习和符号推理相结合的方法在组合方式、泛化性和可解释性方面的局限性，并通过大量实验证明了该方法在转导和归纳任务中实现了高性能和有效的泛化能力。

    Sep, 2023

  • 自解释结构提高自然语言处理模型

    本论文提出了一种简单而通用的自说明深度学习模型的框架，通过添加一个解释层来聚合不同文本段落的信息并赋予权重，不需要额外的诱导模型，可以为高层次的文本单元提供直接的重要性评分，并在 SST-5 和 SNLI 数据集上取得了新的最好表现。

    Dec, 2020

  • 利用图变换网络对复杂文档布局中的文本语义进行建模

    本文提出了一种基于图形表示的模型，并演示了我们不仅可以跨文档检索语义相似的信息，而且我们生成的嵌入空间也捕获了有用的语义信息，类似于仅适用于文本序列的语言模型。

    Feb, 2022

  • 一种基于句法跨度的最小神经网络成分句法分析器

    本文介绍了一种基于 label 和 span 独立评分的最小神经模型，并证明了该模型不仅与经典的动态规划技术兼容，而且还支持一种基于递归分割的新颖贪心自顶向下推理算法。经实验证明，两种预测方案竞争力强，并且与得分模型的基本扩展相结合，能够实现 Penn Treebank 的单模型最优性能（91.79 F1），并在法语 Treebank 上获得强大的性能（82.23 F1）。

    May, 2017

  • 语言学框架在神经符号语言建模中展开激烈较量

    本文探讨了语言图表示在理论上能否 complement 并提高神经语言建模的能力。通过集成一个预训练的 Transformer 和七种不同形式主义的 ground-truth 图，研究发现，总体而言，语义组成结构对于语言建模的性能最有用，超越了句法组成结构以及句法和语义依存关系结构。此外，这种效应在不同的词性类别中差异很大。总之，我们的研究结果为神经符号语言建模带来了有前途的倾向，并邀请未来研究 quantifying 不同形式主义所做的设计选择。

    Dec, 2021

  • 基于神经符号方法的弱监督推理

    深度学习在自然语言处理 (NLP) 任务中取得了显著进展，本研究提出了一种神经符号学习方法，将符号主义和连接主义两种人工智能学派相结合，通过强化学习或其弱化版本在下游任务中实现具有符号潜在结构的神经系统的弱监督推理。该框架已成功应用于表格查询推理、句法结构推理、信息抽取推理和规则推理等各种任务。

    Sep, 2023

  • 只需添加功能：神经符号语言模型

    本文提出了一种方法来增强神经网络语言模型的归纳偏好，即通过将简单的函数结合到神经体系结构中形成分层神经符号语言模型，进而显著降低小语料库语言建模的困惑度，并证明其表现提高在更大的语料库中也会持续提升。

    Dec, 2019

  • 一种神经符号化方法用于识别语法正确的句子

    本论文介绍一种使用神经符号方法验证英语句子的简化方式，其结合了现代 AI 技术，如语言模型，以解决文本摘要、问答和机器翻译等自然语言处理挑战。

    Jul, 2023