代表性对齐的达成

Oct, 2023

Getting aligned on representational alignment

Ilia Sucholutsky, Lukas Muttenthaler, Adrian Weller, Andi Peng, Andreea Bobu...

TL;DR生物和人工信息处理系统形成世界的表示，以用于分类、推理、规划、导航和决策。研究这些不同系统形成的表示在多大程度上一致？不同的表示是否仍然可以导致相同的行为？系统如何修改其表示以更好地匹配另一个系统的表示？研究表示对齐的这些问题是当代认知科学、神经科学和机器学习最活跃的研究领域之一。为了改善不同领域之间的沟通，我们提出了一个统一的框架，可以作为研究表示对齐的研究人员之间的共同语言。我们从认知科学、神经科学和机器学习领域的文献中进行综述，并展示了以前的工作如何适应这个框架。最后，我们提出了在表示对齐方面的开放问题，进展可以使这三个领域受益。我们希望我们的工作能够促进跨学科合作，加速所有研究和开发信息处理系统的社区的进步。请注意，这是一篇工作论文，欢迎读者提出他们对未来修订的建议。

Abstract

Biological and artificial information processing systems form representations of the world that they can use to categorize, reason, plan, navigate, and make decisions. To what extent do the representations formed by these diverse systems agree? Can diverging representations still lead to the same behaviors? And how can systems modify their representations to

representational alignment cognitive science neuroscience machine learning cross-disciplinary collaboration

发现论文，激发创造

与人类表征的对齐支持强大的少样本学习

通过信息理论分析和计算机视觉模型的实验，我们发现 AI 系统的世界表示与人类的相似度呈现 U 形关系，并表明高度相似的模型在少量数据、对抗攻击和领域转换方面更具鲁棒性和泛化能力，表明人类对齐通常是模型充分利用有限数据、鲁棒性和良好泛化的足够但不必要的条件。

Jan, 2023

深度神经网络与人类表征对齐的基本维度

确定人类和人工智能之间的相似性和差异是机器学习和认知神经科学的重要目标。通过借鉴认知科学的最新发展，我们提出了一个通用框架，可在人类和深度神经网络 (DNN) 中产生可比较的表示。将此框架应用于人类和自然图像的 DNN 模型，揭示了一个低维度的 DNN 嵌入，包括视觉和语义维度。与人类不同，DNN 显示出视觉特征明显优于语义特征的优势，表明表示图像的策略存在分歧。尽管在硅中的实验显示 DNN 维度具有似乎一致的可解释性，但人类和 DNN 表示之间的直接比较表明它们在处理图像时存在重大差异。通过使表示直接可比较，我们的结果揭示了表示对齐的重要挑战，为提高它们的可比性提供了一种方法。

Jun, 2024

机器人和人类表示的对齐

本文调查了当前大部分奖励和模仿学习方法的机器人任务表示与人类任务表示不匹配的问题，并主张应该将机器人学习任务的表示与人类对齐，以及从定义问题的数学角度出发研究机器人物理表示学习。

Feb, 2023

神经网络表示的人工对齐

本研究调查神经网络表示与人类认知表示之间对齐的因素，发现模型规模和架构对齐性没有实质性影响，而训练数据集和目标函数对齐性有更大的影响。研究发现，神经网络表示的线性转换有助于提高与人类相似性判断的一致性，但规模和多样性更大的数据集训练的模型也不能满足人类认知表示的需求。

Nov, 2022

认知科学与人工智能中的异议的方面：解析分化与不一致

人工智能代理和人类之间以及代理之间的不同意见的管理需要进一步加深对不同意见本质的理解，其中包括对代理对物体评估的差异和代理对物体表征的差异所引发的不同意见的研究。

Oct, 2023

ReAlnet: 通过人脑神经表征对齐实现更加人类大脑类似的视觉

通过对非侵入式脑电图记录进行对齐，我们提出了 “Re (presentational) Al (ignment) Net”，这是一个与人类大脑活动对齐的视觉模型，其与人类大脑表征更加相似，从而在人工智能领域取得了突破。

Jan, 2024

学习人类化的表示以实现学习人类价值

构建与人类价值和目标相一致的 AI 系统，防止造成伤害或违反社会可接受行为的标准是一个重要课题，本研究通过研究伦理学作为价值一方面并训练多个 ML 代理，研究其与人类的代表性一致程度与学习最具道德行为的性能之间的关系。

Dec, 2023

表征对齐支持有效的机器教学

一个优秀的教师不仅需要知识渊博，还需要以学生理解的方式进行沟通，与学生分享对世界的认知。本研究结合了机器教学和实用交流的观点，对表征对齐与教师能力促进学生学习的关系进行了量化，设计了一个区分表征对齐与教师准确性的监督学习环境，通过计算实验与机器教机和机器教人的一系列实验，发现与学生实现更好的表征对齐可以提高其学习效果，进而设计了一个课堂配对程序，根据这一效用曲线将学生分配给教师。因此，设计高效的机器教师不仅要准确无误，还需与学生实现表征上的对齐。

Jun, 2024

概念对齐

在讨论人工智能对齐（人与人工智能系统之间的对齐）时，重点放在价值对齐上，广泛指的是创建具有人类价值观的人工智能系统。我们认为，在试图对齐价值之前，AI 系统和人类对于理解世界所使用的概念需要对齐，这是至关重要的。我们结合了哲学、认知科学和深度学习的思想，解释了人类和机器之间需要概念对齐而非仅仅价值对齐的需求。我们总结了人类和机器目前如何学习概念的现有观点，并概述了达成共享概念的机遇和挑战。最后，我们解释了如何利用认知科学和人工智能研究中已经开发的工具来加速实现概念对齐的进展。

Jan, 2024

表征的意义：作为可证伪记忆模式的心理表征

本文探讨了神经科学和人工智能中所谓的表述问题，并提出了一种基于激活条件的结构推断来解决这个问题的方案，该方案可以用于规划、预测和检测。并通过简单神经网络模型的模拟来说明该方案。

Mar, 2022