ICMLDec, 2021

神经激活编码的无监督表征学习

PDF
TL;DR该篇论文提出神经激活编码作为一种新颖的方法，通过学习无标注数据来获取深度表示，以便进行下游应用；该方法通过最大化编码器的非线性表达力，从而在嘈杂的通信通道上最大化编码器与数据的激活模式之间的互信息，进而增加了 ReLU 编码器的不同线性区域的数量，从而实现了数据的连续和离散表示，并在 i) CIFAR-10 和 ImageNet-1K 上进行线性分类以及 ii) CIFAR-10 和 FLICKR-25K 上进行最近邻检索等下游任务上取得了比较好的性能表现。
发现论文，激发创造
  • 限制表示产生知道自己不知道的模型

    该论文提出了一种新的方法，即对模型的内部激活模式施加类感知约束，从而解决神经网络在训练内容稍有差别或存在对手时可能会返回错误预测的问题，并且可以通过总激活分类器获得可靠的置信度和预测，这种方法比现有的替代置信度方法更好。

    Aug, 2022

  • 神经关注电路

    本论文介绍了一种名为神经注意力电路（NACs）的神经网络模型，它是一种通用但模块化的网络体系结构，可同时学习神经模块的参数化和稀疏连接，其在不同数据模态下具有优秀的性能表现，并已在不同领域展示出模块划分的表现。

    Oct, 2022

  • 激活或不激活：学习定制化激活

    本文提出 ACON 激活函数及其 meta-ACON 变种，能够在各种任务中提高性能，且可用于对象检测和语义分割。

    Sep, 2020

  • 图像检索的神经编码

    本文研究了卷积神经网络中使用神经编码作为图像检索应用的高级描述符，实验表明即使 CNN 用于无关的分类任务，神经编码可与标准描述符竞争。 此外，基于 PCA 的神经编码压缩提供了非常好的短代码，并且具有比其他标准描述符更好的鲁棒性；而基于匹配相片的辨别降维进一步提高了所压缩神经编码的检索性能。

    Apr, 2014

  • INCODE: 具有先验知识嵌入的隐式神经调节

    INCODE 是一种利用深度先验知识增强 INR 中正弦基准激活函数的控制的新方法，它通过调整激活函数的关键参数来优化表示过程，不仅在表示方面出色，而且在处理音频、图像、3D 形状重建以及神经辐射场（NeRFs）和逆问题（包括降噪、超分辨率、修复和 CT 重建）等复杂任务方面具有突出表现，从而拓宽了信号表示的范围。

    Oct, 2023

  • 多级激活用于层级嵌套类别的分割

    本研究提出一种新颖的方法，通过多层激活层和三种兼容的损失来编码基于拓扑学的先验信息，以解决生物图像分割任务中的问题，并在 2018 年的 Data Science Bowl 挑战中验证了该方法的效果，可以大幅提高分割的 Dice 分数。

    Apr, 2018

  • 邻域关系编码的自监督表示学习

    本文提出了一种新颖的自监督表示学习方法，通过利用训练数据中的邻域关系编码来保留样本之间的联系并获得具有自主监督的判别性和无监督的表示学习方案。该方法不需要强制注释且适用于不同计算机视觉任务，包括分类、检测和分割等。此外，在对抗性攻击防御和视频异常检测等应用中，该方法的自编码能力也能发挥较好的作用。实验结果表明，该方法在每个特定应用场景下与最先进的方法相比性能更好或至少不逊色。

    Aug, 2019

  • 主动预测编码：一种用于学习层次化世界模型以进行感知和规划的统一神经框架

    提出了一种新的预测编码框架，称为主动预测编码，利用超网络、自监督学习和强化学习来学习层次化的世界模型，并成功解决了细分视觉和复杂动作序列组合等多个问题。

    Oct, 2022

  • 基于神经激活的自动属性发现

    该研究论文提出了一种无需具体的监督数据集，从网络上嘈杂的图像文本数据中发现和分析视觉属性的自动化方法，其基于属性和深度神经网络中的神经激活之间的关系，该方法对于发现和学习分类器，以及利用高度激活的神经元找到语义相关地区是有用的。

    Jul, 2016

  • 神经激活模式（NAPs）：学习概念的视觉可解释性

    通过提取神经网络层中高维激活空间内相似的激活特点，我们找到了一些被对待相似的输入群体，这些输入群体代表神经激活模式 (NAPs)，并可用于可视化和解释学习层概念，从而实现了神经网络的分析方法的互补。

    Jun, 2022