HDReason: 超维知识图推理的算法硬件协同设计

Mar, 2024

HDReason: 超维知识图推理的算法硬件协同设计

HDReason: Algorithm-Hardware Codesign for Hyperdimensional Knowledge Graph Reasoning

Hanning Chen, Yang Ni, Ali Zakeri, Zhuowen Zou, Sanggeon Yun...

TL;DR使用基于大脑启发的高维计算方法，本研究提出了一种高效且适合加速的知识图谱补全算法，并针对 FPGA 平台进行了一种加速框架的算法 - 硬件共同设计。与 NVIDIA RTX 4090 GPU 相比，该加速器平均实现了 10.6 倍的加速和 65 倍的能效提升。与最先进的基于 FPGA 的 GCN 训练平台相比，HDReason 在进行跨模型和跨平台比较时，性能平均提高了 4.2 倍，能效提高了 3.4 倍。

Abstract

In recent times, a plethora of hardware accelerators have been put forth for graph learning applications such as vertex classification and graph classification. However, previous works have paid little attention to Knowledge Graph Completion (KGC), a task that is well-known for its sig

hardware accelerators knowledge graph completion hyperdimensional computing acceleration framework fpga platforms

发现论文，激发创造

可解释的稀疏知识图谱补充方法：基于高阶图推理网络的实现

本文提出了一种新型解释模型 HoGRN 用于针对稀疏知识图谱（KG）的提取和推理，在实现高效和精确的预测同时保证可解释性，通过捕获关系的内部相关性学习高质量关系表示，并在关系空间中进行实体聚合和基于组合的注意力设计，HoGRN 在几个稀疏 KG 上表现出了显著的改进。

Jul, 2022

广义全息简化表示

通过引入 Generalized Holographic Reduced Representations (GHRR)，本文探讨了基于 Hyperdimensional Computing (HDC) 的深度学习方法，通过在保留连接主义方法的灵活性的同时，允许显式规定符号方法中的表征结构，从而提高了编码复杂数据结构的能力。

May, 2024

探索与利用高阶图结构用于稀疏知识图谱补全

为应对稀疏知识图谱中存在的问题，提出一种新颖的框架 LR-GCN，在 GNN 预测器和推理路径提取器的共同作用下，使用变分 EM 算法能够自动捕捉实体之间的长程依赖性，从而提高知识图谱完成的效率。

Jun, 2023

边缘实时超维重配置的硬件加速器

本文介绍了利用低功耗嵌入式硬件的超高维可重构分析系统 (HyDRATE)，该系统利用无 MAC (无浮点数乘积累加操作) 深度神经网络 (DNN) 和超维 (超高维) 计算加速器在边缘执行实时重新配置。通过展示该算法、训练好的量化模型生成和特征提取来实现超高纬度基于逻辑的分类器，并展示了性能随超维数增加而提高的情况。本文介绍了实现的低功耗 FPGA 硬件和嵌入式软件系统，和实现的硬件加速器，以及系统延迟和功耗噪声稳健性等方面的讨论。通过视频活动分类任务的实际与模拟系统性能比较，展示了在相同数据集上的重新配置。使用边缘的少量学习新课程，使用无梯度下降反向传播仅通过重新训练前馈超高维分类器实现该系统的重构性。

Jun, 2022

GraphACT: 在 CPU-FPGA 异构平台上加速 GCN 训练

通过 CPU-FPGA 异构系统，我们设计了一种新型加速器，通过算法 - 架构协同优化，提升 Graph Convolutional Networks 训练的速度。我们采用子图算法，优化特征传播，并提出基于 systolic array 的设计，实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上，我们的设计比现有多核平台的最新实现快一个数量级，且几乎没有精度损失。

Dec, 2019

Accel-GCN：图卷积网络的高性能 GPU 加速器设计

Accel-GCN 是一种针对 Graph Convolutional Networks 的 GPU 加速器架构，通过轻量级的节点排序、块级分区策略、以及组合的 warp 策略，优化了 GCN 的计算效率，并在 18 个基准图上表现出比 cuSPARSE、GNNAdvisor 和 graph-BLAST 分别高出 1.17 倍、1.86 倍和 2.94 倍的性能。

Aug, 2023

一次性图表示学习基于超维计算

我们提出了一种新颖、简单、快速且高效的用于图像半监督学习的方法，该方法利用超高维度计算将数据样本编码成高维空间，并且通过 Hyper-dimensional Graph Learning 算法可以在图神经网络的节点表示上利用这种超高维度性质来实现信息聚合，从而取得与深度学习方法相媲美的预测性能，而无需进行计算昂贵的训练过程。

Feb, 2024

具有类脑神经适应性的稳健可扩展的高维计算

通过动态 HDC 学习框架识别和再生不需要的维度，以提供足够的准确性，并大幅降低维度，从而加速训练和推理。

Nov, 2023

学习常识推理的情境化知识结构

该研究提出一种名为 Hybrid Graph Network（HGN）的知识图谱（KG）增强模型，通过在一个统一的图结构中同时推理提取和生成的知识来解决 KG 边缘稀疏和嘈杂的问题，证明了该模型在四个常识推理基准测试中取得的相当大的性能增益，并研究了边缘有效性和帮助性。

Oct, 2020

可扩展高效的高维计算网络入侵检测

本文提出了一种创新的超维计算学习框架 ——CyberHD，通过重新生成维度来捕捉网络威胁的复杂模式，达到极低维度，并且具有很高的硬件错误容错性。

Apr, 2023