具有关联记忆的端对端可微聚类
通过从动力系统和常微分方程的角度提供对扩散模型(DMs)的简明概述,揭示了高度相关但经常被忽视的能量驱动模型(AMs)概念的数学联系,并总结了 40 年来 AMs 的历史,讨论了 AMs 和 DMs 的相似性和差异性揭示的新的研究方向。
Sep, 2023
该研究提出了一种基于关联记忆的新架构用于双序列建模,派生了用于增强通用循环神经网络(RNN)的循环关联记忆(AM-RNNs),扩展至同时操作两个 AM 的 Dual AM-RNN,并在文本推理方面取得了非常有竞争力的结果。
Jun, 2016
本研究提出了一种名为 AMSL 的新方法,通过自身监督学习模块和适应性记忆融合模块,增强了无监督异常检测的泛化能力,并且在四个公共基准测试集上取得了显著的性能改进。
Jan, 2022
提出了一种名为相关密集关联记忆(CDAM)的新型关联记忆模型,通过整合自关联和异关联在一个统一的框架中来处理连续值记忆模式。采用任意图结构来语义链接记忆模式,CDAM 在理论和数值上得到分析,揭示了四种不同的动力学模式:自关联、窄异关联、宽异关联和中性静息。借鉴抑制性调制研究,采用反赫布学习规则控制异关联的范围,提取图中社区结构的多尺度表示,并稳定时序序列的回想。实验演示展示了 CDAM 在处理现实世界数据、复制经典神经科学实验、执行图像检索和模拟任意有限自动机方面的效果。
Apr, 2024
本文介绍了一种深度摊销聚类(DAC)神经网络架构,通过少量正向传递学习高效聚类数据集,摊销聚类通过元学习,不需要手工先验知识即可聚类数据点和计算数据集中集群的数量。在合成和图像数据上的实验结果表明,DAC 可以高效、准确地聚类来自与训练集相同分布的新数据集。
Sep, 2019
通过使用针对重复图像和标题、高度特定用户提示的三种指导策略的新颖框架 Anti-Memorization Guidance(AMG),我们成功实现了在生成高质量图像和文本对齐的同时,消除了训练数据的记忆化问题。AMG 还具备创新的自动检测系统,能够在推断过程的每个步骤中检测潜在的记忆化,并允许有选择地应用指导策略,以最小程度地干扰原始采样过程,从而保留输出的实用性。我们将 AMG 应用于预训练的去噪扩散概率模型(DDPM)和稳定扩散,在各种生成任务中取得了成功,结果表明 AMG 是迄今为止第一种能够成功消除所有记忆化实例,对图像质量和文本对齐几乎没有或只有轻微影响的方法,这得到了 FID 和 CLIP 分数的证明。
Apr, 2024
这篇论文提出了一种基于深度自编码器混合聚类(DAMIC)算法,该算法通过聚类网络将数据转化到另一个空间,并且提出了一种集合自编码器来表示每一个聚类,同时聚类算法共同学习非线性数据表述和集合自编码器,通过最小化混合自编码器网络的重构损失,找到最优的聚类,实验结果显示该方法在图像和文本上均优于现有技术。
Dec, 2018
本文描述了一种完全反馈的关联记忆模型,具有任意数量的层,其中一些层可以是局部连接的(卷积),以及相应的能量函数,该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈,以帮助较低层神经元决定它们对输入刺激的响应。
Jul, 2021