Apr, 2024

通过香农熵和粗糙集理论的集成推广机器学习评估

PDF
TL;DR本研究旨在通过将 Shannon 熵与粗糙集理论相结合，提供一种创新的方法来推广机器学习评估方法。该综合框架将粗糙集理论的粒度与 Shannon 熵的不确定性量化相结合，应用于一系列机器学习算法，旨在不仅评估预测性能，还揭示数据的内在结构和模型的鲁棒性。通过在各种数据集上进行严格测试，结果表明了该综合方法在增强机器学习评估中的实用性，提供了一个多方位的视角，平衡了准确性与对数据属性和模型动态的深入理解。该论文为机器学习评估提出了一种开创性的观点，提出了一种概括模型性能整体视图的方法，从而在模型选择和应用中促进更明智的决策。
发现论文，激发创造
  • 粗糙随机性及其应用

    本研究引入了新的概念和算法来处理在粗糙推理，可解释的人工智能和机器学习中的意义不明确和动态的情境。通过引入基于代数的机器学习算法，本研究证明了这些概念的有效性。

    Mar, 2023

  • 深度学习算法的泛化能力理解：基于核化的 Renyi 熵视角

    该论文提出了一种基于信息理论的方法，使用内核化的 Renyi 熵刻画了随机梯度下降算法的学习效率，实现了更紧密的泛化误差界限。

    May, 2023

  • 功能选择、分类和知识表示的高效准确粗糙集

    此篇论文提出了一种基于粗糙集的数据挖掘方法，实现了特征选择、分类和知识表示，通过相对重要性提出了粗糙集的效率和准确性，为知识表示和分类提出了粗糙概念树。实验结果表明，该框架比七种流行的或最新的特征选择方法具有更高的准确性。

    Dec, 2021

  • 学习算法泛化能力的信息论分析

    本研究提出了一种基于信息理论的泛化误差上界方法，用以控制模型的输入输出互信息，进而指导在数据适配和泛化之间寻找平衡点。在此基础上，我们探索了一些方法，包括利用相对熵或随机噪声来正则化 ERM 算法等。这些方法扩展和改进了 Russo 和 Zou 的最近工作。

    May, 2017

  • 信息论统一微观机器学习、不确定性量化和材料热力学

    提出了一个信息论框架，将原子尺度模拟、机器学习和统计力学结合起来，通过建立相图、识别稀有事件、对数据集进行优化、以及进行模型无关的不确定性量化，统一描述了原子尺度建模中的信息相关问题。

    Apr, 2024

  • 利用香农熵的多传感器方法寻找学术专家

    该论文介绍了一种基于多传感器数据融合框架与极大熵及 Dempster-Shafer 证据理论相结合的新方法，用于解决查找某个主题下最有知识的人的信息检索任务。它应用于一个学术领域的两个数据集上，证明了该方法的广泛适用性和优越性，可以使它在性能上达到与传统的监督技术相同的水平。

    Jun, 2013

  • 基于决策论熵的贝叶斯优化泛化

    本文提出一种基于 Sherman 逻辑的不确定性泛化度量，将它应用到贝叶斯优化中来表征不确定性，从而解决了当前信息理论 BO 算法无法考虑后续过程的问题，并且提出一个以此为基础的灵活的获取函数家族。最后，作者还开发了一种基于梯度的方法来高效优化它们，成功地解决了各种顺序决策任务中的优化问题。

    Oct, 2022

  • 基于香农熵的知识文档分类

    本文提出了一种基于 Shannon 熵的文档分类模型，该模型采用丰富信息和均匀多样的关键词匹配，在无需任何正样本的情况下提供了一种简单且可解释的解决方案，并展示了 Shannon 熵显著提高了召回率的能力。同时，该模型还表现出更强的鲁棒性和适应性，尤其是在正样本数量非常有限的情况下。

    Jun, 2022

  • 引入一种改良的信息论预测不确定性度量

    应用机器学习模型进行决策需要区分模型所知与不知的内容。本文提供新的洞见，揭示当前预测不确定性度量的局限性，并引入了一种理论上可靠的度量方法来克服这些局限。实验证明，我们引入的度量方法在控制的合成任务中表现得更加合理，并且在利用预测不确定性的实际应用中具有优势。

    Nov, 2023

  • 通过分析学习理论实现机器学习的普适性

    本文提出了一种新颖的基于测度论的机器学习理论，不需要统计假设。基于该理论，提出了一种新的深度学习正则化方法，并表明其在 CIFAR-10、CIFAR-100 和 SVHN 中优于之前的方法。此外，该提出的理论为深度学习中的一族实际成功的正则化方法提供了理论基础。与统计学习理论不同，该提出的学习理论通过测度论分析每个问题实例，而不是通过统计分析一组问题实例，因此提供了不同类型的结果和见解。我们还讨论了该结果对一次性学习、表示学习、深度学习和课程学习的几种后果。

    Feb, 2018