使用 GNN 进行资源排序学习
我们提出了一种名为 GNN-Ret 的新型检索方法,利用图神经网络(GNNs)考虑段落间的相关性来增强检索过程,并通过 RGNN-Ret 处理多跳推理问题,从而提高问题回答准确率。实验结果表明,GNN-Ret 相比多次查询的强基线方法在单次查询 LLM 的问题回答准确率上更高,而 RGNN-Ret 进一步提高了准确率,在 2WikiMQA 数据集上的准确率提高了 10.4%。
Jun, 2024
本研究提出了教育资源发现(ERD)流程,该流程自动化了新领域的 web 资源发现,并展示了如何利用这一流程生成高质量调查的开头段落。该研究创建了一个包含 39,728 个手动标记的 web 资源和 659 个查询的语料库。
Jan, 2022
本文提出了一种高并行性图神经网络的再排序方法,将传统的再排序过程分为检索高质量图库样本和更新特征两个阶段,并在实验中验证了该方法的实时处理能力和检索效果。
Dec, 2020
无线资源管理的需求增加了对高效无线资源管理的精简神经网络结构的开发的需求。本文介绍了一种针对无线资源管理量身定制的图神经网络(GNN)的新方法:低秩消息传递图神经网络(LR-MPGNN)。该方法基于低秩逼近技术,将传统线性层替换为其低秩对应层,大大减小了模型尺寸和参数个数。通过多个关键指标对提出的 LR-MPGNN 模型的性能进行评估,包括模型尺寸、参数个数、通信系统的加权和速率以及权重矩阵的特征值分布。广泛的评估结果显示,LR-MPGNN 模型的模型尺寸减小了 60 倍,模型参数个数可以减少高达 98%。在性能方面,相对于原始 MPGNN 模型,LR-MPGNN 模型在最佳情况下的规范加权和速率仅降低了 2%,表现出很好的鲁棒性。此外,LR-MPGNN 模型的权重矩阵的特征值分布更加均匀,范围更广,表明了权重的战略性重新分布。
Mar, 2024
本文介绍了一种深度语义资源推理模型,实现了在信息检索中解决词汇不匹配问题,并在 TREC Terabyte 和 TREC CDS 数据集上展示了其在语义和深度学习 IR 模型方面的优越性。
Jun, 2017
本文介绍了一种利用图嵌入技术使神经信息检索模型可以利用图结构数据进行自动特征提取的方法,并将其应用于电子商务数据集中,结果显示该方法在多个强基线模型和排序框架中都有显著提高。
Jan, 2019
本文提出一种图检索机制叫做 GraphRetrieval 通过检索训练图来加强现有的图神经网络模型,利用自注意力的适配器从被检索图中获取有益信息并消除噪声,实现了对现有 GNN 模型效果的显著提升。
Jun, 2022
本文提出了一种有效的框架,称为语言模型图神经网络 (LM-GNN),通过分阶段的 BERT 模型微调来结合异构图结构与文本,以便在多项监督学习任务中实现节点和边分类以及链接预测,并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。
Jun, 2022
本研究总结了当前神经信息检索研究的情况,特别关注了问题和文档的学习性表示(即神经嵌入),强调了神经信息检索目前的成功之处,列出了其更广泛采用的障碍,并建议未来研究的潜在方向。
Nov, 2016
本文探讨了基于预训练语言模型的致密检索方法,并提供了在低资源情境下实现致密检索的主流技术概览,根据技术需要的资源将其分为文档、文档和问题,以及文档和问题答案对三个类别,并对每个技术的算法、开放问题和优缺点进行了介绍和总结,最后提出了未来研究的方向。
Aug, 2022