Jan, 2024

可解释性优化启发式算法的基准测试

PDF
TL;DR介绍了一种名为 IOH-Xplainer 的软件框架，用于分析和理解各种优化算法的性能以及它们不同组件和超参数的影响，通过该框架，我们对不同算法组件和配置的影响进行了研究，为不同场景下的性能提供了深入的见解。提供了一种系统方法来评估和解释迭代优化启发式的行为和效率，使得更好的基准测试和算法设计成为可能。
benchmarkingheuristic algorithmsalgorithm performanceoptimization frameworksiterative optimization heuristics
发现论文，激发创造
  • 使用 IOHprofiler 进行离散优化启发式算法基准测试

    本文介绍了 IOHprofiler，一个自动化算法评估工具，以及在不同优化问题上的实践，通过比较并分析不同启发式算法的表现，提供了对各种方法优势和劣势的认识，并能进行自动算法选择和配置，为迭代优化启发式算法提供了常用的参考和标准。

    Dec, 2019

  • 数学优化中数据驱动的可解释性框架

    通过引入解方案的可解释性作为另一个评估标准，我们可以在目标值和可解释性之间找到权衡解决方案，从而提高数学规划在实践中的易用性。

    Aug, 2023

  • 使用 IOHProfiler 对子模优化问题进行算法基准测试

    本文介绍了一个基准测试算法的设置，旨在为子模优化问题的新算法的性能提供框架和比较。重点是开发迭代搜索算法，如进化算法，并将其实现提供并集成到 IOHprofiler 中，以跟踪和比较迭代搜索算法的进展和性能。我们介绍了一系列已集成到 IOHprofiler 中的子模优化问题，并展示了如何在各种设置中使用设置来分析和比较迭代搜索算法。

    Feb, 2023

  • IOHprofiler：迭代优化算法基准测试和性能分析工具

    IOHprofiler 是一个用于分析和比较迭代优化启发式算法的工具，可以评估算法性能并跟踪算法参数的演变，是评估任意基准问题运行时间数据的独立工具，可在 GitHub 上获取。

    Oct, 2018

  • 比较优化算法的最佳实践

    本文系统地回顾了优化算法基准测试的过程，并讨论了公正比较的挑战。我们提供了每个步骤的建议并强调了评估优化算法性能时要避免的陷阱。我们还讨论了各种报告基准测试结果的方法。最后，提出了一些未来研究的建议以改进当前的基准测试过程。

    Sep, 2017

  • OpenHEXAI：可解释机器学习的人本评估的开源框架

    OpenHEXAI 是一个开源框架，旨在解决人工智能可解释性方法的人类中心评估的挑战，它包括多样的基准数据集、预训练模型和事后解释方法、易于使用的用户研究 Web 应用、全面的评估指标以及实验证明最佳实践的工具。基于 OpenHEXAI，该研究进一步对四种最先进的事后解释方法进行了系统评估，并比较了它们在准确性、公平性以及用户对机器学习模型的信任和理解方面对人工智能决策任务的影响。

    Feb, 2024

  • 联合结构和超参数优化的表格基准测试

    为了更好地评估超参数优化方法，本文提供了一组便宜但仍然代表现实用例的基准测试，并在基准测试上对超参数优化方法进行了广泛的性能和鲁棒性比较。

    May, 2019

  • 模型调试解释效用基准测试

    本文提出需要为后续说明方法建立基准来评估其在完成任务中的效用，并列举了为解决调试文本分类器任务的基准所应具备的理想属性，并强调这种基准不仅有助于评估解释的有效性，还有助于评估其效率。

    May, 2021

  • 生成富有信息的基准示例的框架

    本文介绍了一种利用现代约束编程语言中的类级别模型自动生成基准实例数据，以重点生成有效和有信息量的基准实例的框架，可评估可行解决方案的相对性能。使用此框架对五个问题进行研究，不仅排名解算器，还通过查找解算器表现显著变化的实例子集，为我们提供了一个更完整的解算器行为理解。

    May, 2022

  • XAI-TRIS: 量化机器学习解释能力的非线性基准测试

    本文探讨不同非线性分类场景下，解释性人工智能模型的表现，并通过一系列实验测试发现，当前流行的 XAI 方法往往无法显著提高准确性基线和边缘检测方法，甚至在不同模型结构下产生非常不同的解释，存在误解的风险。

    Jun, 2023