Aug, 2010

最大熵模型和主观趣味性：二元数据库中平铺的应用

PDF
TL;DR本文介绍了一种关于主观趣味测量的普遍策略，通过将先前的信息作为对数据的不确定性的概率模型的约束来表示其先前信息，从而使之有意义并实用。同时，使用 MaxEnt 模型来衡量主观趣味测量的各种措施。
发现论文，激发创造
  • 不确定最大熵原理

    介绍不确定最大熵法，将黑盒机器学习模型的输出作为输入，使其能够使用噪声观测，同时提高预测精度。

    May, 2023

  • 基于贝叶斯网络的有趣项集模型

    通过 Bayesian 网络的生成模型和新颖的趣味度量，我们的方法能够从交易数据库中直接高效地推断出最有趣的项目集，并且在多个真实世界的数据集上取得与现有先进算法相当甚至更好的效果。

    Oct, 2015

  • 预测不确定性的模型无关变量重要性：一种基于熵的方法

    这篇论文介绍了如何将解释性方法扩展到具有不确定性意识的模型中，并演示了如何通过这些方法深入理解模型行为、特征对预测分布熵和真实标签对数似然的影响，以及不确定性来源对模型性能的影响。

    Oct, 2023

  • 引入一种改良的信息论预测不确定性度量

    应用机器学习模型进行决策需要区分模型所知与不知的内容。本文提供新的洞见，揭示当前预测不确定性度量的局限性，并引入了一种理论上可靠的度量方法来克服这些局限。实验证明，我们引入的度量方法在控制的合成任务中表现得更加合理，并且在利用预测不确定性的实际应用中具有优势。

    Nov, 2023

  • 用最具信息量的项集简洁地总结数据

    本文提出了一种基于最大熵模型的算法 MTV，该算法采用迭代更新的方式发现给定数据中最丰富的项目集合，从而构建出简洁但非冗余的数据摘要，并通过实验证明其有效性。

    Apr, 2019

  • 压缩进展驱动：一个简单的原则解释了主观美、新奇、惊喜、趣味、注意力、好奇心、创造力、艺术、科学、音乐、笑话的必要方面

    本文分析了数据在某些自我改进但计算能力受限的主体中变得临时有趣的原因，并探讨了好奇心驱使人类、数学家、艺术家、舞蹈家、喜剧演员和人工智能等进行探索的动机。

    Dec, 2008

  • 时序数据的信息论启发式模式分析

    研究提出了一种基于信息论特征的高度通用的方法，用于识别和学习多变量时间序列数据中的模式和趋势。通过在人类活动数据中分析模式变化，结果表明该方法可以提高召回率、F1 分数和准确性，在平均基线模型和更简单的模型结构下，平均减少 18.75 倍的模型参数数量。

    Feb, 2023

  • 发现的简单算法原则、主观美感、选择性关注、好奇心和创造力

    通过奖励能够改善日益增大的数据的主观压缩性的普通增强学习程序的行动，可以自然而然地在计算机上实现所有上述内容，并且艺术家、舞者、音乐家、纯数学家的 “创造性” 可以被视为这一原则的副产品。

    Sep, 2007

  • 生成模型新颖性基于熵的可解释评估

    我们提出了一种基于核熵新颖性（KEN）得分的模式 - based 新颖性量化方法，用于多模态生成模型的新颖性评估，并通过对合成和真实图像分布的数值结果表明了该方法在检测新颖模式和比较最先进的生成模型方面的成功。

    Feb, 2024

  • 基于矩阵熵的大型语言模型评估

    通过信息论和几何原理，我们引入了矩阵熵作为一种新的度量标准，以量化大型语言模型中的数据压缩能力，展示其在单模态和多模态设置中的适用性，并发现它可以作为传统损失缩放定律的补充。同时，我们基于矩阵熵提出了一种评估方法，用于评估对齐质量，并发现现代大型多模态模型表现出良好的对齐性能。

    Jan, 2024