Nov, 2023

图灵提示学习：综述与扩展

PDF
TL;DR人工智能总体智能（AGI）已经在许多领域取得了革命性的成就，然而其与图数据的整合，在我们相互连接的世界中仍然尚未充分开发。本文对图智能的新兴领域进行了开创性的调查，探讨了利用图数据进行 AGI 应用的关键挑战和机遇。尽管在自然语言处理和计算机视觉领域已经取得了实质性的进展，但在图数据方面的应用还未得到充分开发。本调查对当前 AGI 处理图数据的现状进行了批判性评估，突出了在图领域中特定于跨模态、跨领域和跨任务应用的不同挑战。我们的工作首次提出了一个统一的框架，用于理解图提示学习，并明确了图领域中的提示标记、标记结构和插入模式。我们深入探讨了图提示的内在特性，探讨了其灵活性、表达能力和与现有图模型的相互作用。我们系统地对该领域的 100 多项工作进行分类，将它们与节点级、边级和图级目标的预训练任务相对应。此外，我们还提供了一个名为 ProG 的 Python 库和一个配套的网站，以支持和推动图提示的研究。本调查总结了当前挑战和未来方向的讨论，为 AGI 中的图提示研究提供了路线图。通过这个全面的分析，我们的目标是激发对 AGI 在图数据中进一步探索和实际应用的兴趣，凸显其重塑 AGI 领域及其他领域的潜力。ProG 库和网站可以通过相应的 URL 进行访问。
artificial general intelligencegraph promptsgraph datacross-modalitygraph prompting
发现论文，激发创造
  • ProG：图灵提示学习基准

    人工智能在图上的通用智能在各种应用中取得了显著的进展，然而传统的 “预训练和微调” 范式在复杂和小样本场景下存在低效和负迁移问题。图提示学习作为一种有希望的替代方案出现，利用轻量级提示来操作数据，通过重新构思下游任务来填补任务间隙。然而，仍存在几个关键挑战：如何统一各种图提示模型，如何评估图提示的质量，以及提高其实际应用中的可用性和选择性。为了应对这些挑战，我们推出了图提示学习的首个全面基准。我们的基准集成了六种预训练方法和五种最先进的图提示技术，在十五个多样化的数据集上进行评估，以评估性能、灵活性和效率。我们还介绍了一个名为 'ProG' 的易于使用的开源库，简化了各种图提示模型的执行，有助于客观评估。此外，我们提出了一个统一的框架，将现有的图提示方法分为两个主要方法：图提示和标记提示。该框架增强了图提示技术的适用性和比较性。代码可在此 https URL 中获取。

    Jun, 2024

  • 图形提示方法调查：技术、应用和挑战

    通过基于结构化图形的触发方法，绕过传统的大规模标注数据集，提高深度学习的泛化能力，使预训练模型更具适应性。

    Mar, 2023

  • 一体化：用于图神经网络的多任务提示

    本文引入了提示方法来弥补预训练模型与各种图形任务之间的差距，并提出了一种新的用于图形模型的多任务提示方法。经过实验，结果表明我们的方法优越性。

    Jul, 2023

  • 广义图提示：走向图上预训练和下游任务的统一

    GraphPrompt 是一种基于图的新型预训练和提示框架，通过统一预训练和下游任务，并使用可学习的提示来帮助下游任务以任务特定的方式定位来自预训练模型的最相关知识，进一步提升了预训练和提示方面的性能。

    Nov, 2023

  • 多任务预训练和图上提示的 MultiGPrompt

    在本文中，我们提出了 MultiGPrompt，一种新颖的多任务预训练和提示框架，用于利用多个预设任务获取更全面的预训练知识，并通过预设和全局提示指导少样本情境下的后续任务。我们进行了六个公共数据集上的大量实验来评估和分析 MultiGPrompt。

    Nov, 2023

  • AGI 系统的元提示

    该论文深入探讨了 “元提示” 这一新颖技术，革新了大型语言模型、多模态基础模型和人工智能系统在问题解决和数据解释方面的方法。该技术根植于类型理论和范畴论，并注重信息的结构和语法，提供了一种超越传统以内容为重点的方法的独特框架。我们详细阐述了 “元提示” 的形式定义，并通过与 “少样本提示” 的对比突出了其在不同人工智能应用中的适用性和优越性。关键的探索是将 “元提示” 扩展到复杂推理领域。在这里，我们展示了这一技术如何将复杂问题巧妙地分解为可管理的子问题，从而实现了解决问题的逐步详细方法。这种方法在令牌效率和问题解决情景中提供了公平的比较，与少样例方法相比表现出特殊的优势。此外，该论文通过将 “元提示” 推广到多模态基础模型设置中开创了新的领域。这一扩展解决了在 “元提示” 的结构框架中整合各种数据类型，如图像、音频和视频的挑战和潜力，突显了处理复杂多方面数据的广阔潜能（代码可在此 URL 获取）。

    Nov, 2023

  • 一体化：图神经网络的多任务提示（扩展摘要）

    该研究论文介绍了一种创新的方法来解决预训练图模型与各种应用任务之间的差距问题，借鉴了自然语言处理中提示学习的成功。我们提出了一种适用于图的多任务提示方法，通过统一图和语言提示格式，使自然语言处理的提示策略能够适用于图任务，并通过分析图应用的任务空间，对问题进行重构以适应图级任务，并应用元学习来改善多任务的提示初始化。实验证明了我们的方法在不同的图任务中提高了模型性能。此外，在本文的扩展摘要中，我们从更大的视角讨论图提示，并提供了一些最新的相关工作。

    Mar, 2024

  • 提示报告：提示技巧的系统调查

    通过建立提示的结构化理解，本文通过整理提示技术的分类法和分析其使用，提供了 33 个词汇术语、58 种文本提示技术以及 40 种其他模态的技术，还对自然语言前缀提示的整个文献进行了元分析。

    Jun, 2024

  • GraphPrompt: 将图神经网络的预训练和下游任务统一

    本文提出了一个新的在图上进行预训练和提示的框架 GraphPrompt，可以将预训练和下游任务统一到一个通用的任务模板中，并使用可学习的提示来以一种特定于任务的方式帮助下游任务定位来自预训练模型的最相关知识。在五个公共数据集上展开了广泛的实验来评估和分析 GraphPrompt。

    Feb, 2023

  • 基于时间交互图的提示学习

    Temporal Interaction Graph Prompting (TIGPrompt) is a versatile framework that integrates with TIG models, addressing the challenges of temporal discrepancy and semantic divergence in their pre-training and downstream predictions, by using temporally-aware prompts and a 'pre-train, prompt-based fine-tune' paradigm.

    Feb, 2024