ACLSep, 2021

文本分类中的词袋、图形和序列：质疑文本图和广泛 MLP 的必要性和惊人强度

PDF
TL;DR本研究发现，在归纳式文本分类中，使用 Bag-of-Words 的宽 MLP 模型优于最新的基于图的模型 TextGCN 和 HeteGCN，并与 HyperGAT 相当，而基于序列的 BERT 和 DistilBERT 模型优于所有最新的模型。
发现论文，激发创造
  • 单标签和多标签文本分类：词袋、序列、图、层次结构，我们真正取得了多少进展？

    通过综合文献和自行实验，我们发现在单标签和多标签分类任务中，与精调的语言模型和 MLP 等标准机器学习方法相比，基于图的方法效果不如人意，甚至有时比基于词袋的 MLP 方法表现还要差，这进一步挑战了过去几年中新基于图方法的开发和它们在这一领域中的实际价值，并证实了预先训练的语言模型依然是文本分类中最先进的方法。因此，未来的文本分类研究需要仔细测试标准的机器学习算法如 MLP，以更好地评估其真正的科学进展。

    Apr, 2022

  • 图卷积网络文本分类

    本文介绍了一种基于图卷积神经网络的文本分类算法 (Text GCN)，该算法利用单一的文本图构建并联合学习词和文本的表征，经实验表明，将该算法应用于多个基准数据集后，在无需外部词嵌入和预先知识的情况下，文本 GCN 仍可优于现有的文本分类方法。

    Sep, 2018

  • 通过图神经网络进行文本分类的综述

    本文介绍文本分类的方法，重点讨论基于图神经网络的文本分类，分别从构造机制和学习过程等方面对文本分类方法进行详细介绍，并涵盖数据集，评估指标和实验设计等方面，通过对公开基准测试的综合比较评估和评估指标的优缺点比较，总结出各个技术的优缺点。

    Apr, 2023

  • 张量图卷积网络的文本分类

    本文提出 TensorGCN 框架，基于图卷积神经网络进行文本分类，结合单个图的邻域信息和不同图的异构信息进行内部图和跨图传递信息的聚合和协调，实现了在不同种类图中集成异构信息的有效方式。

    Jan, 2020

  • 如何使用基于图神经网络的最佳文本表示法进行文本分类：连接数据点？

    本研究对基于图的文本表示方法在文本分类中的应用进行了广泛的实证研究，探索了其实际影响和开放挑战。在短文档和长文档数据集上比较了几个 GNN 架构和 BERT 的性能，并发现文本输入特征和领域高度相关，尽管 BERT 表现出色，但在处理短文本时存在收敛困难，而图方法特别有利于处理较长文本。

    May, 2023

  • 知识图谱嵌入的快速线性模型

    本文表明，基于词袋 (BoW) 的简单基线学习到出人意料的知识图谱嵌入。通过将知识库补全和问题回答转化为监督分类问题，我们观察到建模实体和关系的共现可以在几分钟的培训时间内获得最先进的性能，使用开源库 fastText。

    Oct, 2017

  • VGCN-BERT: 使用图嵌入增强 BERT 进行文本分类

    本文提出了 VGCN-BERT 模型，结合 BERT 和 Vocabulary Graph Convolutional Networks (VGCN) 的能力进行文本分类，实验证明其在多个文本分类数据集上性能优于单独使用 BERT 和 GCN，并且比以前的研究效果更好。

    Apr, 2020

  • 基于文本级图神经网络的文本分类

    提出了一种新的基于图神经网络的模型，通过全局参数共享建立每个输入文本的图形而不是整个语料库的单个图形，这种方法支持在线测试，同时提取更多的本地特征和显著降低边缘数量以及内存消耗，在多个文本分类数据集上性能优于现有模型。

    Oct, 2019

  • 文本分类任务的深度序列模型

    本文研究大数据领域，探讨了自然语言处理、文本分类和序列模型的应用，结果显示序列模型在二分类和多分类上取得了优异的成果，但机器仍需进一步改进以达到人类水平。

    Jul, 2022

  • 每个文档都有其结构：通过图神经网络进行归纳文本分类

    本文介绍了一种基于图神经网络的新方法 TextING，可用于词嵌入和归纳文本分类，并在四个基准数据集上进行了实验，取得了超过现有文本分类方法的优异成果。

    Apr, 2020