机器更容易记忆哪些图像?
现代神经网络的成功引发了对记忆和泛化之间关系的研究:过参数化的模型能够很好地进行泛化,尽管它们能够完美地拟合(记忆)完全随机的标签。本文通过对图像分类基准上 ResNet 的记忆度量进行实证计算,全面分析了神经模型大小对记忆能力的影响,结果发现不同模型大小的训练样本表现出意想不到的多样化记忆轨迹:较大模型下大多数样本减少了记忆,而部分样本呈现帽状或者递增型记忆。此外,我们发现知识蒸馏作为一种有效且流行的模型压缩技术,往往抑制记忆,同时提高了泛化能力,尤其是对于记录递增轨迹的示例,蒸馏技术能够有效提高泛化能力。
Oct, 2023
本研究使用 GAN 和传统图像处理方法,研究图像编辑对记忆力的影响;使用带标签的数据进行深度学习使 GAN 能够控制图像的记忆能力;同时分析传统的照片编辑工具(如 Photoshop,Instagram 等)对记忆力的影响,并通过最近的记忆力预测研究方法进行统计分析。
Nov, 2018
本文介绍了采用可视化注意力机制的全可训练、深度神经网络的设计和评估,用于记忆性估计。研究了从图像分类到记忆任务的深层模型的迁移学习的适用性和关注机制对记忆性估计的影响,并在 SUN 记忆力和 LaMem 数据集上评估了网络,在 Spearman 等级相关性和平均平均误差方面优于现有技术水平模型,与人类的一致性接近。
Apr, 2018
该研究论文探讨了面向移动机器人的有趣场景预测问题,通过使用新颖的、平移不变的视觉记忆来提高模型的准确性,并设计了长期、短期和在线学习三个阶段的系统结构,以实现人类化体验和在线的应用适应性。最终,在多个有挑战性的机器人数据集上,我们的方法达到了比现有算法更高的精度。
May, 2020
通过对图像分类的神经网络进行实验,我们发现神经网络即使在训练数据中只出现了一次,也不经意地会记住独特的特征。我们开发了一个得分来估计模型对独特特征的敏感性,结果表明神经网络对于训练数据中罕见的隐私信息都具有风险。
Feb, 2022
本研究提出一种基于抽象记忆的架构,利用机器标注数据,通过查询外部记忆库中与查询问题视觉相似的数据,并将有用的信息写入到抽象记忆中,最终实现了对新领域物体的准确识别。
Dec, 2016
通过使用基于 Transformer 的模型结合了时空注意机制,我们研究了影响视频记忆性的语义和时间注意机制,并对一个大型自然主义视频数据集上的视频记忆性预测任务表现进行了比较。结果显示模型的注意力与人类凝视的密度图表现出相似的模式,并且模型和人类对于物体类别的关注度与记忆性得分有关。此外,该模型模仿了人类在时间上的注意力,对于初始帧更加重视。
Nov, 2023
在这项研究中,我们统一了关于机器学习中记忆化的定义和观点,讨论了它们与模型泛化的相互作用以及这些现象对数据隐私的影响,并系统化了允许从各种机器学习学习设置中检测记忆化发生或量化记忆化的方法。最后,我们讨论了记忆化在隐私攻击、差分隐私和对抗性行为者等方面的背景。
Nov, 2023
研究使用检索增强模型来提高计算机视觉任务的识别能力,引入了一种基于注意力机制的记忆模块,学习从外部记忆集合中检索出的每个例子的重要性,证明了使用 10 亿个图像 - 文本对的大规模记忆数据集的好处,并在 ImageNet-LT,Places-LT 和 Webvision 数据集中取得了最先进的准确性。
Apr, 2023