通过能量耗散控制神经网络

ICCVApr, 2019

Controlling Neural Networks via Energy Dissipation

Michael Moeller, Thomas Möllenhoff, Daniel Cremers

TL;DR使用能量耗散网络在深度学习中提出了迭代计算下降方向以实现图像重构、特别是对噪声图像进行去模糊，超分辨率和医学图像中来实现。经实验证明，它可以控制网络在推断时遵循数据形成模型，并且它在单幅图像超分辨率和计算机成像重构上取得了良好效果，并进一步扩展到凸可行性问题。

Abstract

The last decade has shown a tremendous success in solving various computer vision problems with the help of deep learning techniques. Lately, many works have demonstrated that learning-based approaches with suitable network architectures even exhibit superior performance for the soluti

deep learning image reconstruction energy dissipating networks data formation model convex feasibility problems

发现论文，激发创造

面向能耗限制的图像分类自适应神经网络设计

本研究采用超参数优化的设计范式，将 CNN 的架构设置视为全局优化的超参数，以解决现有方法中网络处理数据而不是网络架构的局限性，实现了比以往使用 CNN 作为黑匣子更高效省电的图像分类。

Aug, 2018

基于熵的深度神经网络引导加速收敛与提升性能

通过引入基于熵的损失项，我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示，在更少的维度上收敛于更好的测试指标，并在图像压缩和图像分类的实验中展示了其有效性。

Aug, 2023

基于能量守恒的神经网络学习动力学行为的基准测试

本文调查了 10 种最新的节能神经网络模型，并比较了它们在 4 个物理系统中的性能，指出了利用这些节能模型设计基于能量的控制器的可能性。

Dec, 2020

通过能量最小化学习迭代推理

通过建立神经网络的能量模型和迭代计算方法，使得深度学习能够处理算法计算等需要迭代推理的任务，并在离散和连续领域中展现出更准确和可推广的解决方案。

Jun, 2022

面向神经进化系统的物理合理性研究

通过最大化神经进化框架下人工神经网络模型的准确性和最小化功耗，本研究提出了一种新的变异策略，引入了模块层的随机重新引入，通过训练过程中同时训练两个模型以推动其中一个模型的功耗更低且准确性相似，结果表明功耗降低了 29.2%，但预测性能基本不受影响。

Jan, 2024

能量耗散演化深度算子神经网络

本文提出了一种基于能量耗散的进化深度算子神经网络，旨在为一类偏微分方程提供数值解，并通过数值模拟验证了其准确性和高效性。

Jun, 2023

深度卷积神经网络中的能量传播

本文研究深度卷积神经网络的能量保存特性及特征图能量衰减速率，特别是在使用小波和 Weyl-Heisenberg 滤波器的广泛情况下，破坏性和具有高通通带条件的滤波器能够以至少多项式速率衰减。

Apr, 2017

学习导航能量景观

本文提出一种新颖高效的架构，用于解决使用 “分析与合成” 方法的计算机视觉问题，并在 RGB 相机重定位、手姿估计和图像检索任务上展示了其有效性。

Mar, 2016

基于双线性回归模型的平台无关能量受限深度神经网络压缩

本文提出了 ECC 框架，它使用双线性回归函数模拟 DNN 的能耗，将 DNN 压缩到给定的能量限制下，并通过结合 ADMM 框架和梯度下降算法的方法优化约束优化问题，从而实现在相同或更低的能量预算下实现更高的精度。

Dec, 2018

神经网络能量景观基本无障碍

研究发现，神经网络的能量场通常是平坦的，在极小值点之间存在足够的容量进行结构性变化，且每个极小值点至少有一个消失的 Hessian 特征值。

Mar, 2018