可信机器学习
提出了 TOWER 技术,它是第一个自动创建可靠性判断器的技术,该技术可以根据解释技术的输出自动评估与模型无关的文本分类器的可靠性。通过使用噪声数据获得的不可靠模型进行无监督学习,找到 TOWER 的最佳配置。在人工标记的可靠性数据集上评估 TOWER,结果显示 TOWER 能够检测到可靠性的降低,但在与人工标记的数据集对比时效果不佳。初步实验结果表明我们的假设是有效和有前景的,但还需要进一步研究以更好地了解解释和可靠性问题之间的关系。
Jun, 2024
机器学习的可信度是一个重要的话题,涉及到鲁棒性、安全性、可解释性和公平性等各种应用和研究领域。本文系统地从数据中心的角度回顾了这些进展,突出了传统经验风险最小化(ERM)训练处理数据挑战的不足之处,提供了一种统一的语言和数学词汇将这些方法连接起来,促进对该领域的更加协调的理解,并讨论了由因果性文献明确启发的方法。同时,还对大型预训练模型的可信度展开了探讨,并将其与标准 ERM 进行联系,为未来方法铺平道路。最后,对这些方法的应用和未来潜在方面进行了简要总结和讨论。
Jul, 2023
国家物理实验室 (NPL) 在可信人工智能 (TAI) 领域进行的研究回顾,特别是在计量学,即测量科学的背景下,关于可信机器学习 (TML)。我们描绘了 TAI 的三个广泛主题:技术、社会技术和社会,这些主题在确保开发的模型可信且可以依赖于做出负责任决策方面起着关键作用。从计量学的角度,我们强调对不确定性的量化(UQ)及其在 TAI 框架中的重要性,以提高人工智能系统输出的透明度和信任度。然后,我们讨论了 NPL 在 TAI 中正在开展的三个研究领域,并探讨了 AI 系统认证与 TAI 特征的符合性。
Jun, 2024
本研究提供了一种系统的方法来将社会科学信任概念与建立在人工智能服务和产品上使用的机器学习技术相关联,探讨了四种类别的机器学习技术 (公平性、可解释性、可审计性和安全性) 如何影响人们的信任,并介绍了在 AI 系统生命周期的不同阶段建立信任的技术需求。
Nov, 2019
介绍了 TrustLLM,这是一个关于 LLM(大型语言模型)信任度的综合研究,包括不同维度的信任度原则、建立的基准、评估和分析主流 LLM 的信任度,以及对开放挑战和未来方向的讨论。
Jan, 2024
研究探讨了机器学习中的问题,特别是当模型在不同于训练数据的数据上进行测试时,模型很容易出现失败的现象,主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。
Mar, 2021
机器学习算法的可信性取决于用户能否确认其输出的正确性;可信性需要算法在对事实的情景下工作良好,并基于正确特征做出决策,解释性、因果快捷独立性和分布转移稳健性是我们关心模型属性的原因。
Oct, 2023
通过建立透明的算法模型,研究论文探讨了深度学习的可靠性和信任度,使用数学框架分析了不同计算模型下逆问题的可信解决方案,发现 Blum-Shub-Smale Machines 具有潜力在广泛条件下建立可信的解决方案。
Jan, 2024
边缘机器学习与可信边缘机器学习(EML)的融合是一个备受关注的研究领域,通过利用分布式网络资源以合作方式进行联合训练和推理。然而,EML 面临着多种挑战,包括资源限制、异构网络环境和不同应用的多样化服务要求,这些都影响了 EML 在利益相关者眼中的可信度。本调研综述对可信 EML 的定义、属性、框架、技术和解决方案进行了综合总结。特别是,我们首先强调了在第六代(6G)网络背景下可信 EML 的重要性。然后,我们从部署和实际应用场景的角度讨论了可信度的必要性。接下来,我们给出了对可信 EML 的初步定义,并探讨了它的关键属性。随后,我们介绍了可信 EML 系统的基本框架和支持技术,并对增强 EML 可信度的最新解决方案进行了深入文献综述。最后,我们讨论了相关的研究挑战和未解决问题。
Oct, 2023
本文研究了不确定性和可解释性之间的联系,特别是探讨了置信度和解释性之间的关系,发现模型的置信度与我们解释模型的能力有交互作用,并提出了一种简单的实践方法来改善解释结果:调整置信度以提高解释效果。
Jul, 2022