ICMLMar, 2020

针对低资源分子性质预测的元学习 GNN 初始化

PDF
TL;DR该研究使用 ChEMBL20 数据集模拟低资源环境，评估了模型无关元学习（MAML）算法及其 FO-MAML 和 ANIL 变体学习的图神经网络初始化对化学性质和活性任务的可转移性，结果表明 Meta-initializations 的平均 AUPRC 分别提高了 11.2% 和 26.9%。
发现论文，激发创造
  • 分子属性预测的少样本图学习

    本文介绍了一种新颖的用于少样本分子属性预测的模型 Meta-MGNN，该模型利用分子图神经网络学习分子表示，并构建元学习框架进行模型优化，在公共数据库上的实验结果表明，Meta-MGNN 优于其他多种先进的方法。

    Feb, 2021

  • 探索元学习算法在低资源自然语言理解任务中的应用

    本研究探讨了基于元学习算法的模型无关元学习算法（MAML）及其变体，以解决低资源自然语言理解任务中现有方法表现不佳的问题，并在 GLUE 基准测试中验证了该方法的有效性。

    Aug, 2019

  • 低资源神经机器翻译元学习

    本文利用元学习算法 (MAML) 扩展低资源 NMT 问题，并通过多语言高资源任务进行学习来适应低资源语言，并利用全局词汇表解决不同语言的输入输出错配， 在使用 18 种欧洲语言作为源任务和 5 种不同的语言作为目标任务的情况下，相对于基于多语言、迁移学习的方法，表明所提出的方法显著优于现有方法，并仅需少量训练示例即可获得具有竞争力的 NMT 系统。

    Aug, 2018

  • 自然语言理解金融任务的模型无关元学习

    本文研究了模型无关元学习算法（MAML）在低资源金融自然语言理解（NLU）任务中的应用，证明了该算法可使模型快速适应低资源情境并获得最佳性能。

    Mar, 2023

  • 基于图采样的分子属性预测元学习

    为了有效利用分子和性质之间的多对多关系，我们提出了一种基于图采样的元学习（GS-Meta）框架来解决少样本分子属性预测问题。在五个常用基准测试中，GS-Meta 方法在 ROC-AUC 上始终优于现有技术 5.71％-6.93％，并验证了每个提议模块的有效性。

    Jun, 2023

  • 应用于分子性质预测的图神经网络上的多任务学习

    提出了一种基于图神经网络模型的最新、高效的多任务预测方法，结果表明，多任务学习可以提高模型性能，特别是数据点较少的数据集可以不需要数据增强，便能获得较好的效果，并且能显著减小模型的方差。

    Oct, 2019

  • 快速学习还是特征重用？探讨 MAML 的有效性

    利用剖析和潜在特征表示的分析研究，探讨了 MAML 算法是否效果显著取决于元初始化的能力还是特征重用的质量，结果显示后者更具重要性，因此提出了一个新算法 ANIL，在除了 MAML 训练网络的 (特定任务的) 头部外，移除了所有内部循环，并且在少量样本图像分类和 RL 方面，ANIL 与 MAML 的性能相当，并且具有计算上的改进。

    Sep, 2019

  • LiMAML: 通过元学习个性化深度推荐模型

    通过深度神经网络和元学习算法，该研究论文提出了一种个性化推荐系统的创新解决方案，能够根据最新的用户交互信号进行模型更新并在在线推荐系统上高效部署，从而实现高度个性化的 AI 模型的部署和对应业务指标的显著改进。

    Feb, 2024

  • 基于元学习的依存句法快速跨语言适配

    应用元学习技术，使用模型无关的元学习 (MAML) 在不同的语言上进行训练，实现快速适应新语言，有效提高了在少量数据集下，处理跨语言 NLP 问题时的效果。

    Apr, 2021

  • 用多模态对比学习从自然语言中提取分子性质

    将自然语言和图形表示相结合，通过对齐神经图形表示和特性文本描述的表示，提高了下游分子属性分类任务的性能，实现了与仅以图形方式进行预训练的模型相比的 + 4.26% AUROC 的增益，并相对于最近提出的分子图 / 文本对比训练的 MoMu 模型 (Su et al. 2022) 的 + 1.54% 增益。

    Jul, 2023