U - 可信模型:决策中的可靠性、能力和信心
本研究提出一种旨在平衡公平性和实用性的机器学习分类任务的独特解决方案,它利用贝叶斯学习估计样本预测的不确定性,并通过不确定性量化来定义新型的公平性 - 效用目标,从而实现同时优化公平性和实用性。实证研究发现,具有低分类不确定性的样本比高不确定性的样本更准确、更公平。实验结果表明,该方法在公平性和实用性平衡方面表现优异,并有望在机器学习中实现最佳公平性和实用性。
Apr, 2023
研究旨在提高人工智能系统的可信度和信任度,开发能够适应实际应用场景的人工智能系统,并将人类放在其中心地位,使其能够有效地使用系统,理解输出和解释结果以满足监管委员会的要求。
Jan, 2020
通过建立 MATCH 模型,本文探讨了如何在人工智能系统中通过可信度提示进行信任建立,强调透明度和互动等技术的重要性,提出了技术设计者需要意识到用户认知过程和其潜在局限性以选择可靠的可信度提示,并定义适当的提示标准及开销,鼓励相关行业规范技术应用和预防恶意行为。
Apr, 2022
人工智能系统的可靠性和决策呈现方式对用户建立 AI 系统的心理模型至关重要,现代自然语言处理系统常常不可靠,导致系统信任被削弱,研究发现用户对错误和不准确的信心估计会对信任和性能造成损害,并且这种损害缓慢恢复,这些发现凸显了用户面向的人工智能应用中测定是否信任该系统时校准的重要性。
Oct, 2023
提出了一种通用的解释型 AI 模型 TRUST,采用因子分析、互信息和多模态高斯分布等方法,用于解释海量数字数据应用中黑盒子型 AI 的输出,案例研究表明该模型在工业物联网网络安全领域表现良好,对新的样本的解释成功率平均可达到 98%,且在性能、速度和解释方式等方面优于流行的 LIME 模型。
May, 2022
提出了 TOWER 技术,它是第一个自动创建可靠性判断器的技术,该技术可以根据解释技术的输出自动评估与模型无关的文本分类器的可靠性。通过使用噪声数据获得的不可靠模型进行无监督学习,找到 TOWER 的最佳配置。在人工标记的可靠性数据集上评估 TOWER,结果显示 TOWER 能够检测到可靠性的降低,但在与人工标记的数据集对比时效果不佳。初步实验结果表明我们的假设是有效和有前景的,但还需要进一步研究以更好地了解解释和可靠性问题之间的关系。
Jun, 2024
欧盟人工智能法案草案及伴随的标准化努力对人工智能系统的符合评估存在问题,不考虑实际的功能可信度和责任归属,而可靠的功能可信度评估应该是符合评估的核心。
Oct, 2023
本文综述了因果方法对于提高可信 AI 解决方案的应用和发展,因为现有的 AI 模型大多缺乏对人类真实世界理解的因果关系的认识,从而导致了模型泛化性能差、不公平以及难以解释等问题。
Feb, 2023