- 基于提示的半结构化自然语言状态追踪的检索增强型对话推荐
对话式推荐系统必须理解用户偏好和意图的丰富多样的自然语言表达,而这些表达通常以间接方式传达(例如:“我在控制体重”)。这些复杂的话语使得检索相关物品变得具有挑战性,尤其是当只使用通常不完整或过时的元数据时。幸运的是,许多领域都有丰富的商品评 - RAEE:一种无需训练的检索增强早期退出框架,实现高效推理
通过构建检索数据库,框架 RAEE 以预测的近似分布为指导,利用类似数据的退出信息加速语言模型推理,取得了显著的效果,并在 8 个分类任务上达到了最先进的零 - shot 性能。
- RAFIC:检索辅助的少样本图像分类
通过使用图像检索技术和元学习方法,RAFIC 方法在少样本图像分类任务中显著提高了分类准确性。
- EMNLPDelucionQA: 领域特定问答中的幻觉检测
大型语言模型(LLM)生成的文本中存在幻觉现象,通过信息检索来减少幻觉数量,但仍存在各种原因导致幻觉产生。为了促进这个方向的研究,我们引入了一个复杂的数据集 DelucionQA,用于捕捉检索增强 LLM 在特定领域的问答任务中所产生的幻觉 - 自回归多模态模型的扩展:预训练和指导调整
CM3Leon 是一种检索增强的令牌化、仅解码器的多模式语言模型,能够生成和填充文本和图像,通过多模式体系结构实现规模化和调优多样化指导式数据的极大益处,附加了大规模检索增强预训练阶段和第二个多任务监督微调阶段。它是一种通用模型,可以进行文 - 使用迭代检索生成协同技术增强检索增强型大型语言模型
本研究提出一种名为 Iter-RetGen 的方法,通过检索和生成的迭代协同作用,以全面地处理检索到的知识并在不受结构约束的情况下实现灵活的生成,而这可以在多跳问答、事实验证和常识推理等任务中实现可比甚至优于现有检索辅助基准的效果,同时减少 - 使用多模态预训练的检索增强型生物医学视觉问答系统 RAMM
本文介绍了一种针对生物医学问题的图像和文字的多模态预训练和微调方法,该方法使用检索增强来克服数据限制问题,并收集了一个名为 PMCPM 的新生物医学数据集,实现了目前最先进的性能。
- kNN-Adapter: 黑盒语言模型的高效领域自适应
本文介绍了 $k$NN-Adapter 方法,该方法是基于检索增强语言模型,通过将语言模型的输出和目标域数据存储中的检索结果进行自适应加权插值,有效地适应黑盒大型语言模型到新的领域。实验结果表明,$k$NN-Adapter 方法显著提高了语 - 最近邻语言模型为什么有效?
本文探究检索增强语言模型及 k - 最近邻语言模型相较于传统参数化语言模型进行下一个单词预测时为何表现更佳的原因,并发现使用不同输入表示、近似最近邻搜索、以及 kNN 分布的 softmax 温度是关键因素,进而将这些启示融入传统语言模型的 - EMNLP具有对比翻译记忆的神经机器翻译
本文提出了一种新的检索增强 NMT 模型,用于对比检索翻译记忆,利用 Hierarchical Group Attention 模块和 Multi-TM contrastive learning 目标函数增加多层面信息收益,实验结果表明,该 - 检索增强的多模态语言建模
提出了一种 “检索增强的多模态模型”,结合了预检索检索任务和预训练的模型,在图像生成和描述生成任务上实现了比以前模型更好的表现,同时大大降低了训练成本。
- ACLReACC:一种检索增强型代码补全框架
本文提出了一种利用外部代码片段参考的检索增强代码补全框架,使用统计语言模型来训练,实现了针对 Python 和 Java 编程语言的最新表现状态的代码补全任务。
- EMNLPRACE:基于检索增强的提交信息生成
本文提出了一种新的检索增强的神经提交信息生成方法 RACE,利用检索得到的类似提交信息作为样本,并利用它生成准确的提交信息。同时,作者还提出了一个范例导向器,它可以学习检索与当前代码差异的语义相似性,然后根据相似性指导提交消息的生成。实验结 - 检索增强型文本生成调查
本文概述了检索增强型文本生成的一般范式,为了实现未来的研究,回顾了不同任务中值得注意的方法,包括对话响应生成,机器翻译和其他生成任务,并指出一些关键方向。
- 超越短时记忆:长期开放领域对话
该研究探讨了长期对话设置中的开放领域对话模型表现问题,并创建多个对话会话的数据集来研究长文本模型,发现召回前期对话历史的检索增强方法和概述方法胜过标准编码解码架构,成为更好的选择。
- 开放域问答的多文档阅读器和检索器的端到端训练
提出了一种针对获取增强型开放领域问答系统的端到端可区分训练方法,它结合多个已检索文件的信息来生成答案,通过期望最大化算法的近似计算来建模检索决策,证明了该方法优于现有同类方法,达到了新的最高水平。