关于改变神经网络感知的研究
该论文的研究内容主要涵盖了人工智能、深度神经网络、可解释 AI、视知觉技术以及深度模型的调试等领域。论文提出的 Perception Visualization 技术通过可视化深度模型对于输入图像的感知来解释模型预测结果,研究发现人类能够更好地理解和预测系统决策,从而使深度模型的调试和部署更加可靠。
Apr, 2022
深度神经网络在学术界和工业界越来越普遍,在各个领域和相关任务上与人类的表现相媲美甚至超越。然而,即使是最大的人工神经网络也会出错,随着时间的推移,曾经正确的预测可能会失效。通过在数据集中增加考虑错误或最新信息的样本,可以解决这个问题。然而,灾难性遗忘现象对于改变神经网络参数中的隐性记忆知识以达到精确变化提出了挑战,通常需要重新训练整个模型才能实现所需的行为。这种方法昂贵、不可靠,并且与大规模自监督预训练的现行趋势不兼容,因此有必要找到更高效和有效的方法来适应变化的数据。为了满足这个需求,知识编辑作为一个新颖的研究领域正在兴起,旨在实现对预训练目标模型的可靠、数据高效和快速的变化,而不影响先前学到的任务上的模型行为。在本综述中,我们对这个最新的人工智能研究领域进行了简要回顾。首先,我们介绍了神经网络编辑的问题,在一个共同框架中对其进行了形式化,并将其与连续学习等更有名的研究分支进行了区分。接下来,我们对迄今为止提出的最相关的知识编辑方法和数据集进行了回顾,并将这些工作分为四个不同的类别:正则化技术、元学习、直接模型编辑和架构策略。最后,我们概述了与其他研究领域的一些交叉点和未来的潜在方向。
Oct, 2023
该研究探讨了神经网络的编辑问题,提出了 Editable Training,这是一种模型无关的训练技术,以便快速修补模型的错误,并在大规模图像分类和机器翻译任务中进行了实证研究。
Apr, 2020
本文研究计算机视觉、深度神经网络(DNN)、人类视觉感知和无体系结构视觉学习之间的联系,并发现 DNN 计算可用于估计感知损失,并与有趣的理论观点一致,即人类感知的特性是视觉学习无体系结构的结果。
Jan, 2017
本研究介绍了两种神经网络的概念视图,即多值视图和符号视图,并通过在 ImageNet 和 Fruit-360 数据集上的实验测试了其概念表达能力。此外,论文还展示了这些视图可以量化不同学习架构之间的概念相似度,并演示了如何将概念视图应用于从神经元中归纳学习人类可理解的规则,从而为全局解释神经网络模型做出贡献。
Sep, 2022
本文讨论了使用合成训练数据来优化神经网络参数与近似贝叶斯模型的相关性,并展示了其在验证码破解等任务中的应用和成功实验结果,并在此基础上探讨了使用合成数据训练神经网络需要考虑的因素和如何确保模型的泛化能力。
Mar, 2017
本研究以人类物理推理过程为模板,建立了一种神经网络架构,旨在通过表示学习的方式,使神经网络在实验数据的基础上为科学发现提供更具一般性的工具,并在玩具实例中应用该方法,得出相应结论。
Jul, 2018