fusion-in-decoder | BriefGPT

关键词fusion-in-decoder

搜索结果 - 7

ACL多粒度引导的解码中融合
在开放领域问答系统中，为了避免检索到的结果中出现不相关和虚假的上下文，通过多层次的粒度来识别相关证据的融合解码器模型被提出，该模型在多任务学习的基础上，通过将显著的句子聚合为一个锚向量来指导解码器，并通过复用重排列结果来提高解码效率。实验证
PDF3 months ago
EMNLP训练融合解码器中的上下文质量对于开放领域问答的重要性
本研究探讨了上下文数量和质量对基于检索增强生成模型的训练性能的影响，并提出了一种通过引入偏差来缓解对特定上下文质量过拟合的方法，能够有效提高该模型在不同上下文质量下的表现。
PDF4 months ago
通过标记消除优化检索增强阅读模型
通过分析检索到的段落对阅读器模型性能的贡献和必要性，以及在令牌级别上消除一些可能对答案生成过程没有贡献的检索信息，我们证明了我们的方法能够在最多减少 62.2% 运行时间的同时，只有 2% 的性能下降甚至在某些情况下提高性能结果。
PDF9 months ago
预计算内存还是即兴编码？一种混合检索增强方法最大化利用您的计算资源
LUMEN 是一种检索 - 增强型语言模型，介于传统的基于文本语料库的预编码记忆和需要编码大量检索段落的 Fusion-in-Decoder 之间，利用一个实时编码器完成编码任务，比 FiD 更便宜且更适合于解决各种问题 - 回答任务，而且
PDFa year ago
FiDO：面向更强性能和更快推理优化的解码器融合
使用两项简单的变更加速 FiD 架构的推理速度，并允许更大的 Decoder。我们称具有以上修改的 FiD 为 FiDO，并表明它在各种推理预算范围内均表现出更好的性能。
PDF2 years ago
多轮主题驱动对话中有效信息利用的探究
该研究通过 Fusion-in-Decoder 技术，采用多个通道对话历史和主题信息进行编码，实现了对长文本的多方面信息的利用，通过实验发现整篇文章通道加上历史通道的方法在 NaturalConv 数据集上的表现比较竞争性。
PDF2 years ago
MIA 2022 共享任务提交：利用实体表示、密集稀疏混合和解码器中的融合进行跨语言问答
本文介绍了针对 Multilingual Information Access 2022 中 Cross-Lingual Open-Retrieval Question Answering 的任务的一个二阶段系统，包含多语言的检索和回答机制
PDF2 years ago