神经网络表示的人工对齐

ICLRNov, 2022

Human alignment of neural network representations

Lukas Muttenthaler, Jonas Dippel, Lorenz Linhardt, Robert A. Vandermeulen, Simon Kornblith

TL;DR本研究调查神经网络表示与人类认知表示之间对齐的因素，发现模型规模和架构对齐性没有实质性影响，而训练数据集和目标函数对齐性有更大的影响。研究发现，神经网络表示的线性转换有助于提高与人类相似性判断的一致性，但规模和多样性更大的数据集训练的模型也不能满足人类认知表示的需求。

Abstract

Today's computer vision models achieve human or near-human level performance across a wide variety of vision tasks. However, their architectures, data, and learning algorithms differ in numerous ways from those that give rise to human vision. In this paper, we investigate the factors t

computer vision neural networks human mental representations training dataset conceptual representations

发现论文，激发创造

深度神经网络与人类表征对齐的基本维度

确定人类和人工智能之间的相似性和差异是机器学习和认知神经科学的重要目标。通过借鉴认知科学的最新发展，我们提出了一个通用框架，可在人类和深度神经网络 (DNN) 中产生可比较的表示。将此框架应用于人类和自然图像的 DNN 模型，揭示了一个低维度的 DNN 嵌入，包括视觉和语义维度。与人类不同，DNN 显示出视觉特征明显优于语义特征的优势，表明表示图像的策略存在分歧。尽管在硅中的实验显示 DNN 维度具有似乎一致的可解释性，但人类和 DNN 表示之间的直接比较表明它们在处理图像时存在重大差异。通过使表示直接可比较，我们的结果揭示了表示对齐的重要挑战，为提高它们的可比性提供了一种方法。

Jun, 2024

利用人类相似度判断改善神经网络表征

研究发现，在保留本地结构的情况下对神经网络表示进行全局结构对齐可在各种少样本学习和异常检测任务中显著提高准确性。

Jun, 2023

与人类表征的对齐支持强大的少样本学习

通过信息理论分析和计算机视觉模型的实验，我们发现 AI 系统的世界表示与人类的相似度呈现 U 形关系，并表明高度相似的模型在少量数据、对抗攻击和领域转换方面更具鲁棒性和泛化能力，表明人类对齐通常是模型充分利用有限数据、鲁棒性和良好泛化的足够但不必要的条件。

Jan, 2023

将深度网络特征应用于捕捉心理表征

使用深度神经网络进行物体分类，可以占人类相似性判断的重要部分，但不能捕捉到人类表现中的一些关键性质。我们开发了一种方法，将深层特征与人类相似性判断对齐，以获取可用于扩展心理实验范围的图像表示。

Aug, 2016

ReAlnet: 通过人脑神经表征对齐实现更加人类大脑类似的视觉

通过对非侵入式脑电图记录进行对齐，我们提出了 “Re (presentational) Al (ignment) Net”，这是一个与人类大脑活动对齐的视觉模型，其与人类大脑表征更加相似，从而在人工智能领域取得了突破。

Jan, 2024

深度神经网络物体识别策略与人类的协调

研究发现，尽管深度神经网络（DNNs）的成功主要是由于计算规模，而不是基于生物智能的洞见，但是随着精度的提高，DNNs 与人类视觉策略的一致性逐渐降低，但是神经谐振器的出现可以使 DNNs 与人类的视觉策略相一致并提高分类精度。

Nov, 2022

语言对齐的视觉表示预测自然学习任务中的人类行为

本研究探讨类别学习和奖励学习实验中的泛化技能和预测人类行为的最有效表示方法，结果表明，深度学习模型从文本和图像数据中训练得到的表示方式优于仅从图像中训练得到的表示方式，强调了语言在塑造人类认知中的作用。

Jun, 2023

人类存在即时泛化，而深度神经网络存在泛化滞后 —— 对表示分化的证据？

人类和深度神经网络在图像分类领域进行了许多行为比较的最新研究。我们报告了如何在人类观察者和各种经典和最先进的深度神经网络中获取可迁移表示的详细调查结果。发现表明，就绝对分类性能而言，深度神经网络展示了与人类学习者相媲美甚至超过的数据效率水平，挑战了该领域的一些主流假设。然而，整个学习过程中的比较揭示了显著的表征差异：深度神经网络的学习过程具有明显的泛化滞后，而人类似乎立即获得可泛化的表示，无需预备性学习训练集特定信息，这些特定信息只在之后被转移到新数据上。

Feb, 2024

潜在扩散模型的人类对齐分析

在这项工作中，我们分析了大规模数据训练的扩散模型对于三选一任务中人类响应的表示对齐情况，发现尽管其与人类响应的对齐程度与仅在 ImageNet-1k 上训练的模型相当，但去噪 U-Net 的对齐层主要为中间层而非瓶颈层，而且文本条件对于高噪声水平下的对齐显著改善，暗示了抽象文本信息的重要性，尤其是在生成的早期阶段。

Mar, 2024

用可神经映射的模型接近人类 3D 形状感知

了解人类对 3D 形状的推断在神经可映射计算架构中的基础，并强调未来研究的重要问题。

Aug, 2023