深度神经网络可以学习可推广的同异视觉关系

Oct, 2023

深度神经网络可以学习可推广的同异视觉关系

Deep Neural Networks Can Learn Generalizable Same-Different Visual Relations

Alexa R. Tartaglini, Sheridan Feucht, Michael A. Lepori, Wai Keen Vong, Charles Lovering...

TL;DR经过深度神经网络的训练和微调，预训练的变换器可以学习到具有几乎完美准确度的在分布之外的同异关系，尤其针对缺乏纹理或颜色的抽象形状训练的模型表现最佳。

Abstract

Although deep neural networks can achieve human-level performance on many object recognition benchmarks, prior work suggests that these same models fail to learn simple abstract relations, such as determining whether two objects are the same or different. Much of this prior work focuse

deep neural networks same-different relations abstract shapes pretrained transformers out-of-distribution generalization

发现论文，激发创造

对象为中心的表示、引导注意力和外部记忆对视觉关系泛化的作用

本研究系统评估了深度神经网络（DNN）在视觉推理任务中的应用，发现虽然某些模型表现出在某些特定类型的图像上函数良好，但没有一个模型能够有效地推广到所有情况下，从而得出抽象视觉推理仍然是 DNN 面临的主要挑战。

Apr, 2023

神经架构归纳偏差对于关系任务的影响

本研究探讨了在深度学习中通过将关系和感觉信息分隔，以及引入归纳偏差来改善系统的推理性能，并提出了基于相似性分数的简单架构 -- Compositional Relational Network (CoRelNet), 增强了模型的鲁棒性，提高了关系计算的分布外泛化能力。

Jun, 2022

深度神经网络在三维泛化中的特性探究

本文旨在研究和描述深度学习模型对于目标在不同旋转角度下的 2D 图像是否能够进行准确分类，探讨了三种通用的模型 (3D 通用、纯 2D 匹配和基于视角线性组合匹配) 在模型泛化性方面的表现，其中可以发现深度模型泛化能力强，但是其实现方式与这些现有模型不同。

Apr, 2023

重新思考泛化对于了解深度学习至关重要

该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016

跨架构的零样本泛化视觉分类

深度网络的概括性是未见数据的关键要求，但其与分类准确性的关系尚不清楚。使用极简的视觉数据集和一种概括能力度量，我们展示了受欢迎的网络，从深度卷积网络（CNN）到 Transformer，在层级和体系结构的不同方面对未见类别的外推能力存在差异。准确性不能很好地预测概括能力，并且概括能力与层级深度变化的关系是非单调的。

Feb, 2024

人类存在即时泛化，而深度神经网络存在泛化滞后 —— 对表示分化的证据？

人类和深度神经网络在图像分类领域进行了许多行为比较的最新研究。我们报告了如何在人类观察者和各种经典和最先进的深度神经网络中获取可迁移表示的详细调查结果。发现表明，就绝对分类性能而言，深度神经网络展示了与人类学习者相媲美甚至超过的数据效率水平，挑战了该领域的一些主流假设。然而，整个学习过程中的比较揭示了显著的表征差异：深度神经网络的学习过程具有明显的泛化滞后，而人类似乎立即获得可泛化的表示，无需预备性学习训练集特定信息，这些特定信息只在之后被转移到新数据上。

Feb, 2024

揭示潜在模式：研究数据集相似性、性能和泛化

通过添加一小部分未见图片到训练集中，我们的方法可以降低训练与注释成本，提高监督式深度学习模型的泛化性能，并在动态环境中对未见数据的模型性能提供估计。

Aug, 2023

深度无监督学习视觉相似性

本文提出了一种利用局部相似性的弱估计，通过单个最优化问题提取具有一致性关系的样本批次，将视觉相似性学习作为分类任务的序列，并使 CNN 巩固群体内和群组间的传递性关系，学习所有样本的单个表示。

Feb, 2018

走向自动图像编辑：学习看到另一个自己

本研究基于深度卷积神经网络，针对图像生成中的属性变换问题，在两个面部数据集上进行了有量有质的实验，并取得了较为有前途的结果。

Nov, 2015

将深度网络特征应用于捕捉心理表征

使用深度神经网络进行物体分类，可以占人类相似性判断的重要部分，但不能捕捉到人类表现中的一些关键性质。我们开发了一种方法，将深层特征与人类相似性判断对齐，以获取可用于扩展心理实验范围的图像表示。

Aug, 2016