关于可靠机器学习的基准模型多样性的实证研究：图像分类案例研究

Nov, 2023

关于可靠机器学习的基准模型多样性的实证研究：图像分类案例研究

An Empirical Investigation into Benchmarking Model Multiplicity for Trustworthy Machine Learning: A Case Study on Image Classification

PDF

Prakhar Ganesh

TL;DR通过对可信度的多维度模型设计和其对一系列可靠度指标的影响进行一站式的经验基准测试，我们的研究暴露了深度学习模型的过参数化现象导致的模型多样性，这需要在模型选择过程中增加额外的规范以避免意外的失败，并为这种多样性提供影响和趋势的可行性建议。

Abstract

deep learning models have proven to be highly successful. Yet, their over-parameterization gives rise to model multiplicity, a phenomenon

deep learning models model multiplicity trustworthy metrics model selection over-parameterization

发现论文，激发创造

数据集多样性问题：不可靠数据如何影响预测

介绍了一种名为 “数据集多样性” 的框架，用于研究训练数据集中的不准确性、不确定性和社会偏见如何影响测试时间的预测，以及该框架在机器学习实践和研究中的考虑。

Apr, 2023

分类中的预测复杂性

本研究旨在解决机器学习中不同模型之间预测结果冲突的问题，定义了预测重复性作为预测问题接受有多个竞争模型的能力，并引入形式化的度量方式和整数规划工具来计算它们，应用于反复犯罪预测问题中，结果显示现实世界的数据集会接受互相冲突的模型，提出了需要在模型评估中报告预测重复性的建议。

Sep, 2019

基于 Dropout 的 Rashomon 集探索技术用于高效的预测乘性估计

通过利用 dropout 技术来探索 Rashomon 集合中的模型，提出了一个用于衡量和减轻预测多样性的新框架，通过严格的理论推导和实验证明该技术在预测多样性度量估计方面始终优于基准方法，并通过 dropout 集成和模型选择实现了高效的 Rashomon 集合探索和度量估计。

Feb, 2024

任意性超越公平 - 准确度前沿线

机器学习中的公平干预可能会加剧预测复杂性，而提出了一种可应用于任何公平干预的集成算法来解决挑战并确保更一致的预测。

Jun, 2023

多目标复数性：资源有限情况下目标规定中的灵活性和公平性

通过建立多目标多重性理论框架，研究预测模型中目标变量选择对不同个体的结果和不同群体之间选择率差异的影响，涉及研究多元目标选择、公平性和预测倍数等方面。

Jun, 2023

机器学习中的多模型公平和伦理

该研究探讨了预测模型多样性对公平性的影响，发现在多个同等效果的模型中选择对于个人可能具有不利影响，而单纯技术手段无法解决这种问题。

Mar, 2022

多模态大型语言模型可信度评估：一项全面研究

通过建立 MultiTrust 综合基准，本研究通过对 21 种现代多模态大型语言模型的广泛实验，揭示了一些之前未开发的可信度问题与风险，强调了多模态性引入的复杂性，并强调提升其可靠性的先进方法的必要性。

Jun, 2024

机器学习基准测试中方差的考虑

通过模拟对比机器学习算法的整个基准测试过程，我们发现数据采样、参数初始化和超参数选择对结果的影响显著。进一步分析今天所用的主要比较方法，我们提出一种反直觉的结果，即在不增加计算成本的情况下，将更多的变化源添加到不完美的估计器中可以接近更理想的估计器。通过五个不同的深度学习任务和架构，分析改进检测错误率，提出了性能比较的建议。

Mar, 2021

模型相似性降低测试集过度使用

本文证明了在大尺度图像分类基准测试中，最新的提出的模型虽然其准确性相异，但其预测相似性很高，这一相似性缓解了过拟合问题。作者还根据这一相似性给出了一种新的泛化界限的数学模型，能够更好地应用于机器学习中测试数据的重复使用问题。

May, 2019

内容审查中的算法任意性

机器学习在在线内容管理中广泛使用，但其引入了预测多样性等挑战，该研究旨在分析” 预测多样性 “如何影响内容管理工具的分类结果、社会群体的不平等影响以及与人工分类的对比，结果表明算法扩展的内容管理存在着过度管理人权的风险，为了减轻这些风险，需要通过增加透明度来识别和监管内容管理的任意性。

Feb, 2024