Feb, 2024

神经哨兵：保护神经网络的可靠性和可信性

PDF
TL;DR为了解决人工智能模型的可靠性和可信度问题，本文提出了一个名为 NeuralSentinel（NS）的工具，结合攻击和防御策略以及解释性概念来验证 AI 模型的可靠性和可信度，并帮助非专业人员通过理解模型决策来增强他们对这一新系统的信心。该工具在一个黑客马拉松活动中部署和使用，用于评估皮肤癌检测器的可靠性，并通过攻击和防御活动学习出导致模型错误分类的最重要因素和最有效的技术，同时检测 NS 的局限性并收集反馈以进行进一步改进。
artificial intelligencereliabilitytrustworthinessneuralsentinelai models
发现论文，激发创造
  • 何时相信 AI: 神经网络认证的进展与挑战

    人工智能正在快速发展，并已成熟用于许多应用领域，如自主系统、医学诊断和自然语言处理。本文概述了确保人工智能决策安全的技术，并讨论了未来的挑战。

    Sep, 2023

  • 评估人工智能中预测可靠性以建立信任 —— 以多发性硬化为案例研究

    应用人工智能（AI）和机器学习（ML）在关键领域，如医学，需要实施安全措施，以降低预测错误带来的风险。本研究提出了一种评估 ML 预测可靠性的方法，该方法旨在通过检测 ML 失败来提供对临床决策的决策支持，并开发了一个名为 relAI 的 Python 包来嵌入可靠性度量到 ML 流程中。

    Feb, 2024

  • 运用符号知识增强深度神经网络：朝向可信和可解释的教育人工智能

    人工神经网络在教育应用中具有适应性教育服务的重要性，然而由于三个重大挑战，即难以整合教育知识、学习和反思偏见，以及缺乏解释性，它们在实践中的教育潜力受到限制。该研究认为神经符号人工智能具有解决这些挑战的潜力，通过开发一种称为 NSAI 的方法，它将教育知识注入和提取到深度神经网络中，以建模学习者的计算思维。研究发现 NSAI 方法相较于仅在训练数据上训练的深度神经网络以及通过 SMOTE 和自编码器方法来增强训练数据的深度神经网络具有更好的泛化能力。此外，NSAI 方法使得从学得的网络中提取规则成为可能，便于解释与推理以及优化初始教育知识。这些发现表明神经符号人工智能能够克服人工神经网络在教育领域中的局限，实现可信赖和可解释的应用。

    Nov, 2023

  • 安全关键任务的可靠神经网络

    本文提出了一种机器学习可靠性指标，可以评估神经网络在不同的操作条件下的成功概率，并通过设计安全功能来减少有害失效，同时在维持高成功概率的前提下，在机器人操纵任务中进行了实际应用测试。

    Dec, 2019

  • AI 设计与验证的嵌套模型

    提出一个包括五个层次的嵌套模型用于人工智能设计和验证，以解决人工智能从业者所面临的挑战，改善公平性、信任和人工智能应用的采用，同时提出三条相关建议。

    Jun, 2024

  • 利用深度神经网络的关键系统安全框架

    本文提出了一个基于贝叶斯分析的安全性论据框架，该框架使用运行数据和最新的深度学习验证技术，支持多种形式的预测，并针对实际的关键系统进行了建模和验证。

    Mar, 2020

  • 神经符号 AI 在网络入侵检测中的协同方法

    融合神经符号人工智能（NSAI）和传统网络入侵检测系统（NIDS）的研究，通过分析网络流量数据类型和机器学习架构，展示了 NSAI 在提供对网络行为更深入洞察力方面的独特能力，从而改善了检测性能和系统的适应性。这种技术的融合不仅增强了传统 NIDS 的功能，也为构建更具弹性、可解释性和动态防御机制以应对先进网络威胁的未来发展奠定了基础。

    Jun, 2024

  • 走向认知智能系统：神经符号 AI 的调查与展望

    人工智能的显著进步主要是由深度神经网络所推动，然而不可持续的计算轨迹、有限的鲁棒性和缺乏解释性的问题要求开发下一代人工智能系统。神经符号人工智能 (NSAI) 作为一种有潜力的范式，将神经、符号和概率方法融合在一起，提高可解释性、鲁棒性和可信度，并能够从较少的数据中进行学习。最近的 NSAI 系统在具有推理和认知能力的协作人工智能场景中展示了巨大的潜力。在本文中，我们对 NSAI 的最新进展进行了系统综述，并分析了 NSAI 模型的性能特征和计算操作符。此外，我们还从系统和架构的角度讨论了 NSAI 面临的挑战和潜在的未来方向。

    Jan, 2024

  • 用于安全关键应用的神经网络：挑战、实验与展望

    通过扩展现有认证标准中必不可少的可理解性、正确性和有效性等概念，我们提出了一种设计可靠人工神经网络（ANN）的方法论，并将其应用于一个具体的案例研究中，设计了一个高速公路 ANN 基础运动预测器，以确保安全特性，例如如果其右侧有其他车辆，则无法建议自车向右车道移动。

    Sep, 2017

  • 仪器与控制系统中集成的机器学习方法的动态模型无关可信度评估

    通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。

    Aug, 2023