Jan, 2024

人类与神经网络之间的双向知识交互接口

PDF
TL;DR通过构建一个双向交互界面，利用结构化的视觉概念及其关系作为人与神经网络之间的知识交流的 “语言”，研究在解释性人工智能领域取得了一定成果，但目前尚未提供人与神经网络之间的有效方法，以解决神经网络的可解释性和人机知识交互之间的问题。实验证明，通过该交互界面，神经网络能够向人类提供易于理解的推理解释过程，并且人类的参与和先验知识能够直接有效地提升神经网络的性能。
neural networksinterpretabilityknowledge exchangetwo-way interaction interfacereasoning process
发现论文，激发创造
  • 学习和解释代理之间交互的智能协议

    本文探讨了人类与机器学习系统的交互，并提出了一个通信协议，使得机器学习决策支持系统能够实现人机两方面的可理解性。在该通信协议中，符合一定兼容性条件的智能体之间进行交互，定义了弱 / 强两种双向可理解性，使得人类和机器学习系统之间实现了智能信息的双向交流。

    Jan, 2023

  • 深度神经网络推理方法的一种解释 —— 结构化视觉概念

    本文提出了一个基于结构化视觉概念的框架（VRX），以解释分类神经网络的推理过程，并提供模型决策的逻辑和概念层次的解释，旨在弥补黑盒神经网络缺乏可解释性和透明性的缺陷。通过广泛的实验，研究表明 VRX 可以有效地回答关于预测的 “为什么” 和 “为什么不” 的问题，提供易于理解的洞察，同时还可以提供改善神经网络性能的指导意见。

    May, 2021

  • 人类中心的图神经网络解释的设计要求

    图神经网络为各领域的强大基于图的机器学习模型，但复杂的数据表示妨碍了对其预测解释的可理解性，从而减少了对其的信任和合作机会。该研究旨在为非技术领域专家提供可理解的图神经网络解释，并提出了一套以人为中心设计的解释要求，并通过两个示例原型来演示了其中一些建议的要求。

    May, 2024

  • 从应用角度探索基于知识图的神经符号系统

    人工智能的快速发展，特别是通过深度神经网络，已经在视觉和文本处理等领域取得了显著进展。但是，实现人类类似的推理和可解释的人工智能系统仍然面临重大挑战。神经符号学范式将神经网络的深度学习能力与符号系统的推理能力结合起来，提供了开发更透明和可理解的人工智能系统的有希望途径。本文探讨了基于知识图谱的神经符号一体化的最新进展，阐明了知识图谱在三个关键类别中支撑着这种一体化：通过引入符号知识来增强神经网络的推理和可解释性（Symbol for Neural），通过神经网络方法来提高符号系统的完整性和准确性（Neural for Symbol），以及促进两者在混合神经符号一体化中的应用。本文强调了当前的趋势，并提出了神经符号人工智能领域未来研究的方向。

    May, 2024

  • 深度神经网络的理解、可视化和解释调查

    该篇论文综述了深度神经网络在机器学习中的应用，针对一些需要保证安全性的决策（如控制系统和医疗应用），介绍了当前解释性人工智能（XAI）领域的研究，探究和解释 DNNs 内部和整体行为的方法。

    Feb, 2021

  • 指引我：与深层网络交互

    本文研究了通过插入一个空间语义导向层来引导卷积神经网络的性能，包括使用交互式权重的循环模型来学习口头交互，并在两个数据集上进行了评估。

    Mar, 2018

  • 可解释的人工智能与人类互动：一种规划视角

    AI 系统与人类的相互作用中，理解计算机中的心智模型和说明性交流对于实现合作场景和操纵人类期望至关重要。

    May, 2024

  • 走向可解释人工智能方法基准测试

    本文以科学哲学理论作为分析视角，研究解释性方法在神经网络性能评估中的应用，并发现解释性方法的实用性依赖于人类领域知识和理解推理能力。本研究得出结论，基准测试解释性方法是迈向可信人工智能和机器学习的中心任务。

    Aug, 2022

  • 内在和外在可解释性的整合：理解神经网络对于人机交互的相关性

    阐释了可解释人工智能在协作、神经机器人学和人形机器人等方面的现状，并介绍了人形机器人平台 NICO 及其内在与外在解释如何促进高效的机器人行为。

    Oct, 2020

  • InterpNET: 可解释深度学习的神经内视

    本文提出了一种新的解释性神经网络框架，可以生成自然语言的分类解释，试图弥合人类推理和深度神经网络推理相差的鸿沟。该模型在 CUB 鸟类分类和解释数据集上获得了 METEOR 分数 37.9，为目前最高水平。

    Oct, 2017