YOLOv9：使用可编程梯度信息学习您想要学习的内容

Feb, 2024

YOLOv9：使用可编程梯度信息学习您想要学习的内容

YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information

Chien-Yao Wang, I-Hau Yeh, Hong-Yuan Mark Liao

TL;DR当前的深度学习方法主要关注如何设计最合适的目标函数，以使得模型的预测结果最接近真实情况，同时需要设计一种适当的架构来获取足够的信息进行预测。然而现有的方法忽视了一个事实，即当输入数据经历逐层特征提取和空间变换时，会丢失大量的信息。本文主要研究数据在通过深度网络传输时的信息损失问题，即信息瓶颈和可逆函数。我们提出了可编程梯度信息（PGI）的概念，以应对深度网络需求多样的变化来实现多个目标。PGI 能够为目标任务提供完整的输入信息来计算目标函数，从而获取可靠的梯度信息来更新网络权重。此外，我们设计了一种新的轻量级网络架构 —— 广义高效层聚合网络（GELAN），基于梯度路径规划。GELAN 的架构证明了在轻量级模型上 PGI 取得了更好的结果。我们在基于 MS COCO 数据集的目标检测任务上验证了 GELAN 和 PGI，结果显示 GELAN 只使用传统的卷积算子就能比基于深度可分离卷积的最新方法实现更好的参数利用率。PGI 可用于各种模型，从轻量级到大型模型。它可以获取完整信息，从而使得从头开始训练的模型比使用大型数据集预训练的最新模型获得更好的结果，对比结果详见图 1。源代码位于：[指定的 URL]

Abstract

Today's deep learning methods focus on how to design the most appropriate objective functions so that the prediction results of the model can be closest to the ground truth. Meanwhile, an appropriate architecture

deep learning objective functions information bottleneck reversible functions layer aggregation network

发现论文，激发创造

通过像素级梯度剪裁提升高分辨率三维生成

通过像素级梯度剪裁（PGC）方法，提高现有高分辨率三维生成模型的性能，以改进高分辨率三维物体渲染的综合质量。

Oct, 2023

鲁棒微调的可训练投影梯度方法

本文提出了可训练的投影梯度方法，自动学习每层的约束条件以进行精细调整的正则化，通过维护一组投影半径并通过权重投影加强它们，同时使用双层优化自动学习最佳投影半径组合，提高针对发散数据的鲁棒性能，代码可以在 github 上找到。

Mar, 2023

IPG-Net：用于小目标检测的图像金字塔引导网络

本文提出了一种名为 IPG-Net 的新型网络，旨在解决 CNN 目标检测中浅层保留空间信息但缺乏语义信息、深层具有高语义概念但丢失了很多空间信息的信息不平衡问题。IPG-Net 引入了图像金字塔引导来解决这个问题，并在两种检测模型上得到了最新的结果。

Dec, 2019

概率生成对抗网络

本篇文章介绍了基于概率生成对抗网络 (PGAN) 的新型 GAN 变体，它将概率模型 (在本例中是高斯混合模型) 整合到 GAN 框架中，从而支持一种新的损失函数，并提供一种有意义的衡量网络生成输出质量的方法，实验证明 MNIST 数据集的 PGAN 能够生成逼真的图像并计算出与生成图像质量相关的似然度，同时 PGAN 在处理 GAN 训练过程中通常存在的稳定性问题方面具有更好的性能。

Aug, 2017

插拔生成网络：在潜空间中条件迭代生成图像

本文介绍了一种基于生成模型和神经网络的图像合成方法，利用梯度上升法在生成器网络的潜在空间中最大化分类器网络中一个或多个神经元的激活，通过引入对潜在空间的先验分布来提高样本质量和多样性，并称之为 “Plug and Play Generative Networks”，该方法可用于各类数据且在图像分类和生成方面具有先进性。

Nov, 2016

贪婪猪：自适应积分梯度

基于特征选择的统一离散优化框架引入了自适应性，提出了一种自适应的 Greedy PIG 方法以增强特征归因方法的能力。

Nov, 2023

可解释的基于原型的图信息瓶颈

在这项研究中，我们提出了一种新颖的解释性图神经网络框架（PGIB），将原型学习与信息瓶颈框架相结合，为模型预测提供关键子图的原型。通过广泛的实验和定性分析，证明了 PGIB 在预测性能和可解释性方面优于最先进的方法。

Oct, 2023

具有周期全局引导的本地监督学习

提出一种周期性引导的本地化学习方法，旨在提升神经网络的泛化能力。该方法将全局目标函数反复引入神经网络的本地化损失训练中，并在多个模块的配置中具有重要的性能提升。

Aug, 2022

信息感知的图形对比学习

提出了一种名为 InfoGCL 的基于信息瓶颈原则的信息感知图对比学习框架，与最新的图像对比学习方法统一，在节点和图分类基准数据集上进行了实证验证，取得了显著的效果优于现有技术。

Oct, 2021

Nest-DGIL: Nesterov 优化的深度几何增量学习用于 CS 图像重建

在这项研究中，我们提出了一种基于二阶 Nesterov 近端梯度优化的深度几何增量学习框架，该框架能够高效地解决图像逆问题并降低图像重建中的伪影。我们的重建方案包括线性重建、级联几何增量修复、Nesterov 加速和后处理四个模块，并通过与现有技术的比较表明其优越性。

Aug, 2023