Feb, 2023

变分信息追求用于可解释预测

PDF
TL;DR本文提出了解释算法的信息搜索策略，即 Information Pursuit (IP) 和 Variational Information Pursuit (V-IP)，利用深度网络训练策略和分类器以进行推断，且应用于医学诊断等任务中具有更优异的性能。
interpretable algorithmsinformation pursuitvariational information pursuitdeep networksmedical diagnosis
发现论文，激发创造
  • 基于信息追踪的可解释图像分类的可解释查询学习

    使用学习的字典和大型语言模型生成的手工制作的字典相比，学习字典显著优于手工制作的字典，通过大型视觉和语言模型的潜在空间，使用可解释的查询解决数据集的问题。

    Dec, 2023

  • 大规模语言和多模态模型下的变分信息追求用于可解释预测

    通过使用 Foundational Models（FMs），我们扩展了 Variational Information Pursuit（V-IP）框架，以应对数据样本密集概念标注的限制，并显示出 FM+V-IP 与 LLM 生成的概念可以实现比使用人工注释概念的 V-IP 方法更好的测试性能，同时使用较少数量的概念 / 查询来达到与其他可解释性设计框架相竞争的测试性能。

    Aug, 2023

  • 变分推断的进展

    本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

    Nov, 2017

  • 深度变分隐式进程

    提出了 Deep Variational Implicit process (DVIP) 作为 Implicit processes (IPs) 的一种多层泛化方法，并通过大规模数据集上的回归和分类实验展示其可扩展性及性能优越于之前的 IP-based 方法和深层高斯过程。

    Jun, 2022

  • 在计算限制下可用信息的理论

    本文提出了一个基于信息论的新框架，旨在解决复杂系统中的信息推理问题，该框架基于 Shannon 信息理论的变分扩展，结合了建模能力和计算限制，提出了预测 V - 信息的概念，在模型表示学习和系统结构学习方面表现优于传统的相互信息的方法。

    Feb, 2020

  • 使用深度变分信息瓶颈方法解释黑盒

    本研究提出了一种系统无关的解释模式，即采用信息瓶颈原理作为准则来寻找在简洁性和全面性方面都具备的关键特征，并在三个数据集上评估了其可解释性和保真度。

    Feb, 2019

  • 特征选择的变分信息最大化

    用变分分布构建了一种信息理论框架，生成互信息的下界，是一种优化特征选择的方法，实验表明该方法在信息理论特征选择中表现出色。

    Jun, 2016

  • 自动编码变分贝叶斯

    本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

    Dec, 2013

  • 变分隐式过程

    提出了基于隐含过程的变分推断方法并在贝叶斯神经网络、高斯过程等复杂模型的不确定性估计和误差下降方面，相比现有的推断方法获得更好的结果。

    Jun, 2018

  • 深度贝叶斯模型的改进变分推理

    深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

    Jan, 2024