Feb, 2024

极端分类的图正则化编码器训练

PDF
TL;DR本研究通过替换图卷积网络为非图卷积网络的架构，利用图数据来规范编码器训练，提出了一种名为 RAMEN 的替代模型，以提高标签极度分类任务的性能，并在基准数据集上获得了高达 15% 的预测准确率提升，同时不增加推断计算成本。
发现论文，激发创造
  • 具有正则化注意力分数的更强图转换器

    通过引入一种新颖的 “边缘正则化技术”，我们解决了图神经网络的内存消耗问题，并改善了 Transformer 架构对图数据的处理能力。在无位置编码的情况下，通过边缘正则化技术能够稳定提升 Graph Transformer 模型的性能。

    Dec, 2023

  • 文本分类的隐私保护图卷积神经网络

    本研究介绍了一种基于差分隐私的方法来保护敏感数据隐私，使得基于图结构的文本学习可以在保证隐私的同时具有较高的准确性。

    Feb, 2021

  • 双编码器在极端多标签分类中的效果

    通过研究表明，经过正确训练的标准双编码器模型在极限多标签分类问题中可以匹配或超越状态 - of-the-art 极限分类方法在 Precision@1 方面的性能，并且在可训练参数的数量上小 20 倍。

    Oct, 2023

  • ECLARE: 标签图相关性的极端分类

    ECLARE 是一种深度极端分类的算法，通过引入标签相关性来提高分类准确性，从而实现对于海量标签的实时预测。该算法在公共数据库和相关产品推荐数据上都表现良好。

    Jul, 2021

  • 用于句法感知神经机器翻译的图卷积编码器

    这篇研究论文介绍了一种简单有效的方法来将句法结构融入到神经注意力编码解码模型中，以实现机器翻译。文中使用了预测的源句子句法依赖树，用于生成敏感于句法周边的单词表示，以达到最佳效果。研究的实验结果表明，在英德翻译和英捷翻译方面的所有设置中，与其不考虑语法结构的版本相比，该方法均有显著的改善。

    Apr, 2017

  • DeepGCNs: 让 GCNs 达到与 CNNs 相同的深度

    本篇论文介绍了如何将残差 / 稠密连接和扩张卷积等深度卷积神经网络中的概念应用于图卷积网络中，从而成功地训练出多达 112 层的深度图卷积网络，该方法在多个数据集和任务中展示出了非常良好的表现。

    Oct, 2019

  • 高精准、高效率和可扩展性的图嵌入算法

    本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

    Oct, 2018

  • 基于分层多图网络的图像分类

    本研究探讨了基于 Graph Convolutional Networks 的最佳实践，旨在利用 GCNs 自然的多关系数据建模能力和处理不规则输入图片的能力，在 MNIST、CIFAR-10 和 PASCAL 数据集上甚至优于 CNNs 的图像分类表现。

    Jul, 2019

  • 基于排序的自编码器极端多标签分类

    本文提出了基于深度学习的 XML 方法，采用基于词向量的自注意力和基于排序的自编码器，不仅能处理特征和标签之间的依赖关系，同时也可以考虑标签之间的依赖关系，该方法在标准数据集上表现优异。

    Apr, 2019

  • ME-GCN: 多维边嵌入图卷积网络用于半监督文本分类

    本文提出了一种名为 ME-GCN（多维边增强图卷积网络）的模型用于半监督文本分类，该模型能够利用图的丰富边缘信息，通过将边特征作为多流信号进行单独图卷积操作，达到对整个文本数据集较好的分类效果。

    Apr, 2022