Oct, 2023

分子掩码图模型中分词器和解码器的重新思考

PDF
TL;DR基于蒙版图建模的自监督表示学习在分子图领域具有出色的表现。本文从分子图的分词器、分图掩盖和图自编码器三个关键组件入手，总结了常见的分子分词器，通过对其作为重构目标的角色进行研究评估。然后，探索了引入表达力强的解码器对于自编码器表示学习的潜力。最后，提出了一种新颖的蒙版图建模方法 SimSGT，并实验证明其优于现有的分子自监督学习方法。
发现论文，激发创造
  • MaskGAE：掩码图建模 meets 图自编码器

    本文提出了自监督学习框架 MaskGAE，以 Masked Graph Modeling 为前置任务，证明其可以大大提高自监督学习方案。经过广泛的基准测试，证明了 MaskGAE 在连接预测和节点分类任务上的优越性。

    May, 2022

  • GraphMAE2: 一个集解码增强的掩码自监督图学习器

    本文提出了一种基于掩蔽自监督学习框架 GraphMAE2，利用多视角随机重新覆盖解码策略和潜在表示预测策略，并通过广泛的实验表明其在各种公共数据集上始终产生顶级结果。

    Apr, 2023

  • 异构图遮蔽自编码器

    本文提出了一种名为 HGMAE 的新型异构图蒙版自编码器模型，通过创新的掩膜技术和独特的训练策略，解决了捕捉复杂图结构、结合各种节点属性和编码不同节点位置等异构图学习面临的挑战，并在多个数据集上的多项任务中优于现有的对比和生成基线。

    Aug, 2022

  • 使用图掩码建模的图变换生成式对抗网络用于架构布局生成

    通过图 Transformer 生成对抗网络，在图约束的建筑布局生成任务中学习有效的图节点关系，提出了连接节点注意力和非连接节点注意力以及基于节点分类的鉴别器等关键技术，实现了对三个建筑布局生成任务的最新最优结果。

    Jan, 2024

  • 编码器 - 解码器模型在语法错误纠正中可以受益于预训练的掩码语言模型

    本文研究如何将预训练的蒙面语言模型（例如 BERT）有效地纳入编码 - 解码模型，以进行语法错误纠正，并提出一种新的方法，在给定语法错误纠正语料库中对蒙面语言模型进行微调，并利用微调后的蒙面语言模型的输出作为语法错误纠正模型的额外特征，实现了蒙面语言模型的最大化利用，在 BEA-2019 和 CoNLL-2014 基准测试中获得了最好的性能表现。

    May, 2020

  • GeneMask：基因序列的快速预训练以实现少样本学习

    提出了一种新的掩码算法 GeneMask，用于基因序列的掩码语言模型训练，该模型在四个基准基因序列分类数据集的五个少样本设置中明显优于当前最先进模型 DNABert 和 LOGO，同时训练时间不到原始模型的十分之一。

    Jul, 2023

  • 分子图预训练的模式感知属性屏蔽

    本研究提出并研究了一种基于化学基团的属性掩码策略，以捕捉相互基团结构特征，并在八个分子性质预测数据集上验证了其优势。

    Sep, 2023

  • 分子生成的两步图卷积解码器

    该论文提出了一种简单的自动生成分子的自编码器框架。这个框架包括两个步骤，第一个步骤使用全连接神经网络生成分子公式，第二个步骤使用图卷积神经网络完成原子之间的化学键的连接。实验结果显示，该系统有最高的重构率和最好的属性改善结果。

    Jun, 2019

  • 自监督图层掩蔽预训练用于图到文本生成

    该论文提出了使用图形遮盖的预训练策略来提高图到文本生成任务中预训练模型的效果，该方法取得了 WebNLG+2020 和 EventNarrative 数据集上的最新最好成果，并在低资源设置中表现出非常有效的结果。

    Oct, 2022

  • 稳健掩码图自编码器

    本文提出了一种新的自监督图形预训练方法 RARE，它在高阶潜在特征空间中进一步掩蔽和重构节点样本以提高推断掩蔽数据的确定性和自监督机制的可靠性，并采用的联合掩蔽 - 重构策略可以在潜在特征和原始数据空间中产生改进的稳定性和性能，在 17 个数据集上的大量实验中验证了 RARE 的有效性和鲁棒性。

    Apr, 2023