Feb, 2024

异构信息网络中基于大型语言模型的元结构发现

PDF
TL;DR利用大规模语言模型的推理能力，提出了一种新颖的 REasoning meta-STRUCTure 搜索框架（ReStruct），该框架在进化过程中整合了 LLM 推理，通过将元结构编码为自然语言句子，并利用 LLM 的推理能力评估语义上可行的元结构。ReStruct 还使用面向性能的进化操作，综合优化元结构的语义可解释性和实证性能。通过对五个数据集的实验，证明了 ReStruct 在节点分类和链接推荐任务中取得了 SOTA 的性能，另外一项调查研究表明，ReStruct 产生的元结构和自然语言解释更易理解。
heterogeneous information networksmeta-structuregraph neural networkslarge language modelsreasoning
发现论文，激发创造
  • 元元多图搜索：重新思考异构信息网络上的元结构

    该论文提出了一种新的元结构 meta-multigraph，通过可微分的搜索方法自动优化特定 HINs 和任务的 meta-multigraph，并引入了一个从详细到简洁的 C2C meta-multigraph，用于从各种 HINs 中传播信息，以实现节点分类和推荐等任务。

    Apr, 2023

  • 基于遗传元结构的异质信息网络推荐搜索

    通过遗传元结构搜索以及注意力机制多视角图卷积网络模块，本文实现了在异质信息网络中元结构的自动优化以提高推荐效果，相较于手动设计的简化版，GEMS 在评估指标上表现出超过 6% 的优势。

    Feb, 2021

  • 利用结构化信息进行可解释的多跳问题回答和推理

    构建和利用语义结构的多跳问题回答框架，通过神经模型和连续思维机制提高推理能力，并结合信息抽取和提取的语义结构实现更准确和可解释的问题回答。

    Nov, 2023

  • 统一结构推理和语言模型预训练，用于复杂推理

    本文提出通过结构化的推理和语言模型预训练来模拟上下文中的结构化知识，并对复杂理解和知识图谱推理任务进行了实验，表明这种方法可以有效提高语言和知识图谱模式的复杂推理能力。

    Jan, 2023

  • HiStruct+: 基于层次结构信息的提取式文本摘要优化

    通过提出的 HiStruct+ 模型，将 Transformer-based language models 中的层级结构信息显式注入到提取式文摘模型中，提高了 PubMed 和 arXiv 数据集中提取式文摘的 ROUGEs 指标，实验发现：数据集对模型效果的影响是关键因素，数据集中的明显层级结构可以取得更大的性能提升，而在模型的表现中，层级位置信息的贡献最大。

    Mar, 2022

  • 元推理：针对大型语言模型的语义符号解构

    本文提出了元推理（Meta-Reasoning）的概念，通过符号解构，最大限度地将某些推理任务的不同问题转化为类似的自然语言表达式，从而使得大语言模型 (LLMs) 能够通过类比学习和促进数据有效的上下文学习，从而显著地提高推理能力，GPT-3 (text-davinci-002) 在使用一个元推理演示的情况下可以达到超过 99％的准确率。

    Jun, 2023

  • 原型增强的超图学习用于异构信息网络

    本研究介绍了一种新的原型增强的超图学习方法，用于异构信息网络中的节点分类，通过使用超图而不是图来捕捉节点之间的高阶关系和提取语义信息，方法利用原型的力量提升超图学习过程的稳健性，并有潜力为人类提供理解底层网络结构的见解。对三个真实世界的异构信息网络进行了广泛实验验证了我们的方法的有效性。

    Sep, 2023

  • ATLANTIC: 结构感知的检索增强语言模型用于跨学科科学

    我们提出了一种结构感知的检索增强语言模型，通过在预训练模型中检索并融合具有结构关系的科学文档，来改善检索到的内容的相关性、准确性和连贯性。

    Nov, 2023

  • 结构形状建模的重写技术

    通过结构重写系统（StructRe）进行局部迭代重写过程，实现不同类别、多个物体层次的形状建模，并在形状重建、生成和编辑任务中展示了概率建模和可推广性对于结构建模的好处。

    Nov, 2023

  • 基于归纳元路径学习的模式复杂异构信息网络

    SchemaText proposes a method to address the computational complexity associated with meta-path enumeration in schema-complex HINs, using a reinforcement-learning based path-finding agent.

    Jul, 2023