FlashDecoding++ 是支持主流 LLM 和硬件后端的快速 LLM 推理引擎，通过引入异步 softmax、平坦 GEMM 优化和启发式数据流等技术，相较于 Hugging Face 实现，在 NVIDIA 和 AMD GPU 上实现了最高 4.86 倍和 2.18 倍的加速，在主流 LLMs 上平均实现了 1.37 倍的速度提升。

Nov, 2023

本文提出了基于惩罚对偶分解（PDD）框架的 PDD 算法，并将机器学习技术集成到 PDD 解码算法的最耗时部分 —— 检查多面体投影（CPP）中，提出了特别设计的神经 CPP（NCPP）算法来降低解码延迟。仿真结果表明，所提出的算法是有效的

Jun, 2020

提出一种名为 Fast Graph Decoder (FGD) 的 softmax layer 近似算法，可快速识别给定上下文中最可能出现的 K 个单词，从而减少解码时间并保持接近全 softmax 基线准确率，在神经机器翻译和语言建模任务上证明了其有效性，同时也证明了其理论保证。

Jun, 2018

这篇论文描述了如何将大规模语言模型应用于图学习，提出了 LPNL（通过自然语言进行链接预测）框架来处理大规模异构图上的可扩展链接预测任务，并通过自我监督学习细调了基于 T5 模型的链接预测模型，实验证明 LPNL 在大规模图链接预测任务上表现出色。

Jan, 2024

本研究提出了 LinkGPT，首个用于链接预测任务的端到端训练的大型语言模型 (LLM)，通过有效整合结构信息和解决效率问题，在真实世界的图和零样本学习中取得了领先水平的性能。

Jun, 2024

研究使用线性节目（LP）编码进行错误纠正，使用优化论的分解方法，开发了一种有效的分布式算法，它具有比置信传递解码器更强的理论保证，并可以用于高效地译码大规模错误纠正码，同时避免了误差底座问题。

Apr, 2012

LPFormer 是一种新方法，通过学习适应性地编码每个链接的成对编码，以实现链接预测，并通过建模与链接预测相关的多个因素的注意力模块来模拟链接之间存在的成对编码。大量实验证明，LPFormer 在许多数据集上能够达到最先进的性能同时保持效率。

Oct, 2023

本文提出了一个有效的针对神经链接预测进行成对学习的框架（PLNLP），其采用了四个主要组件，包括邻域编码器、链接预测器、负采样器和目标函数，并在 OGBlbenchmark 上进行了评估。该框架具有灵活性，可选用任何通用的图神经卷积或链接预测特定的神经结构进行编码。

Dec, 2021

Clover 是一种新的推理解码算法，将顺序知识融入并行解码过程中，提高了预测准确率和整体效率。实验证明，Clover 在 Baichuan-Small 和 Baichuan-Large 上分别比基准结果提高了最多 91% 和 146%，与之前效果最好的方法 Medusa 相比，在 Baichuan-Small 和 Baichuan-Large 上分别提高了最多 37% 和 57%。

May, 2024

使用大型语言模型构建性能预测模型，并在机器翻译和神经架构搜索领域展示出优越的性能，同时提出基于大型语言模型的性能预测模型进行性能估计，以及一种基于混合搜索算法的神经架构搜索方法，通过这些方法可以显著降低搜索时间并改善性能指标。

Oct, 2023