ACLJun, 2024

检索增强生成中有效的噪音过滤的信息瓶颈视角

PDF
TL;DR检索增强生成结合了大语言模型的能力和从广泛语料库检索到的相关信息，但在面对现实世界的噪声数据时面临挑战。本文提出将信息瓶颈理论引入检索增强生成，通过同时最大化压缩和生成结果的互信息，最小化压缩和检索到的内容之间的互信息，实现对噪声的过滤。实验结果表明，我们的方法在各种问答数据集中取得显著的改进，不仅在答案生成的正确性方面，而且在 2.5% 的压缩率下的简洁性方面也有明显提升。
retrieval-augmented generationinformation bottleneck theorynoise compressionmutual informationquestion answering datasets
发现论文，激发创造
  • 通过强健信息瓶颈提取强健精准特征

    提出了一种用于在监督学习中提取特征的新策略，该方法在信息瓶颈的基础上引入了一个额外的惩罚项来鼓励提取的特征的 Fisher 信息在参数化输入时变小，从而实现分类器的更好鲁棒性。

    Oct, 2019

  • 生成文档检索的瓶颈最小化索引

    利用信息论的视角重新思考生成式文档检索（GDR）问题，我们使用神经自回归模型将查询与索引进行匹配，通过应用香农的速率失真理论，我们分析索引的最优性并提出了一种最小瓶颈索引方法，在 NQ320K 和 MARCO 数据集上验证了该方法的优越性。

    May, 2024

  • 通过多视角信息瓶颈学习强大的表示

    本文提出了基于信息瓶颈原理的多视角无监督学习方法，通过对同一实体的两个视角进行对比得出冗余信息，进而定义新的多视角模型，在 Sketchy 数据集和 MIR-Flickr 数据集的标签受限版本上取得了最先进的结果；此外还通过数据扩增技术将理论扩展至单视角情况，实验证明更具有良好的泛化能力。

    Feb, 2020

  • 利用信息瓶颈进行科学文档摘要

    使用信息熵原理，提出了无监督的文档摘要方法，通过两个单独步骤在信号查询和句子搜索和编辑之间进行。使用预训练的语言模型返回最终提取的摘要结果，验证了在三个科学文献集上的有效性，同时人类评估表明此方法包含了更多的内容方面。

    Oct, 2021

  • 关于信息瓶颈问题：模型、连接、应用和信息论视角

    本文主要讨论信息瓶颈问题，包括如何解决它、与编码和学习方面的联系，以及其对分布式信息瓶颈问题和高斯模型的扩展。同时探讨其与自动编码器、表征学习、变分推断和通用重建等方面的紧密联系。

    Jan, 2020

  • 通过噪声扩展的信息瓶颈增强多重可靠性度量

    本篇研究提出了一种基于自编码器的混合辨别 - 生成训练方案，通过对抗威胁模型来增强模型对于预测信号和快捷信号的鲁棒性，实验结果表明该方案相比传统方案在多项可靠性上均表现良好。

    Mar, 2023

  • 信息瓶颈下的解释再生

    研究开发了一种名为信息瓶颈方法的技术，该技术可以生成自然而准确的自由文本解释来解释自然语言生成模型的输出，并且在两个领域任务的自动评估和人类评估中得到了验证。

    Dec, 2022

  • 动态多模态信息瓶颈的多模态分类

    利用多模态数据，在医学诊断和预测任务中有效利用各种图像、实验室测试和临床信息的人工智能技术正在发展。本研究通过研究现有方法对数据冗余和噪声的鲁棒性，提出了一种广义的动态多模态信息瓶颈框架，用于获得稳健的融合特征表示。通过大量实验证明，我们的方法超越了现有技术，在存在大规模噪声通道时仍然具有优越性能。

    Nov, 2023

  • 解缠结信息瓶颈

    本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

    Dec, 2020

  • 信息瓶颈方法控制合理化提取中的简洁性

    本文通过优化信息瓶颈（IB）目标的界限，提出了一种新的完全无监督方法， jointly 学习解释器和端任务预测器，通过可调的稀疏先验直接控制掩码的稀疏性水平。在 ERASER 基准任务上的实验表明，使用 IB 相比于 norm-minimization 技术，在任务性能和与人类理性的一致性方面都取得了显著的收益。此外，我们发现在半监督学习的情况下，对于训练样本的 25％的黄金理性，能够弥补使用完整输入的模型的差距。

    May, 2020