基于误差上下文修剪的隐式神经表示元学习的高效实现

Feb, 2023

基于误差上下文修剪的隐式神经表示元学习的高效实现

Efficient Meta-Learning via Error-based Context Pruning for Implicit Neural Representations

Jihoon Tack, Subin Kim, Sihyun Yu, Jaeho Lee, Jinwoo Shin...

TL;DR针对大规模隐式神经表示（INRs）的学习，我们提出了一种高效的优化元学习技术，通过在线选择上下文点，可以在任何已知场景中大幅减少元学习的内存需求，实现上下文剪枝以及信号适应。此项技术提出了三个具有技术性新颖性的方案：context pruning 方案的提出，来自全局结构预测误差的适应性选择策略，以及测试时间梯度缩放方案，具有显著的重构改进。

Abstract

We introduce an efficient optimization-based meta-learning technique for learning large-scale implicit neural representations (INRs). Our main idea is designing an online selection of context points, which can si

meta-learning implicit neural representations context pruning signal adaptation memory savings

发现论文，激发创造

元学习稀疏压缩网络

本文介绍了一种新的数据表示方法 —— 隐式神经表示法，经过结构优化后，可以对比 JPEG 等传统压缩方法得到更好的压缩效果，并提出了 Meta-Learning 算法在压缩和学习隐式神经表示方面的改进方法，实现了在不同数据模态下的卓越表现。

May, 2022

上下文学习的信息论分析

通过引入新的信息论工具，我们在序列元学习上建立了一种优雅且非常通用的误差分解方法，分为三个组成部分：不可降低误差、元学习误差和任务内误差。我们应用这些工具对基于变压器的上下文学习进行分析，阐明了误差在训练序列数量和序列长度上的衰减规律。这一结果非常通用，并且避免了以往结果中对序列长度衰减进行人为混合时间假设。

Jan, 2024

非参数式隐式神经表征的教学

通过使用超参数化的多层感知器（MLP）和非参数化教学角度，我们研究了隐式神经表示（INR）的学习。我们提出了一种名为隐式神经教学（INT）的范式，将 INR 学习视为一个非参数化的教学问题，通过选择信号片段进行迭代训练以实现快速收敛，在各种输入模态下展示了 30％以上的训练时间节约。

May, 2024

混合专家隐式神经压缩模型

用深度神经网络中参数对数据进行压缩的隐式神经表示（INR）是一种有前景的数据压缩技术，提出了一种基于专家组混合理论的新型隐式神经压缩方法 MoEC，通过自动分配 INR 给场景中的 3D 点，可以自适应地找到最佳分区并在海量多样的生物医学数据上实现了与现有方法相比的最新研究成果。

Dec, 2023

通过专家混合训练构建神经隐式字典

该研究论文提出了一种能够通过基于坐标的子网络来构建神经隐式词典 (NID) 并代表内在神经表征的框架，通过优化结果能够更快地重建 2D/3D 图像并解决遮挡问题。

Jul, 2022

元学习稀疏隐式神经表示

本文提出了一种利用元学习思想和网络压缩技术相结合的方法，以达到在大量数据集上学习稀疏神经表达的目的，并表明与传统的密集神经网络相比，本方法在相同的参数规模下，能够更快地适应一系列未知信号从而使损失更小。

Oct, 2021

上下文感知元学习

在这项工作中，我们提出了一种元学习算法，通过在推理过程中学习新的视觉概念而无需微调，模拟了类似大型语言模型的能力。我们的方法利用一个冻结的预训练特征提取器，并将元学习重新构造为对具有已知标签的数据点和具有未知标签的测试数据点进行序列建模，从而在 11 个元学习基准中的 8 个中，超过或与元训练于这些基准的最先进算法 P>M>F 相匹配，而无需元训练或微调。

Oct, 2023

大型语言模型中的元上下文学习

本文介绍了大型语言模型在上下文学习中的递归学习能力，即元上下文学习。作者以两个理想化的领域为例，展示了元上下文学习是如何适应性地重塑大型语言模型对预期任务的先验知识，并修改其上下文学习策略。最后，作者通过真实世界回归问题的基准测试发现，元上下文学习与传统学习算法相比具有有竞争力的性能。通过元上下文学习而不是传统的 finetuning 来纯粹地适应大型语言模型应用的环境，可以提高大家对上下文学习的理解，为大型语言模型的应用打下基础。

May, 2023

面向高效和可解释的自回归转换器的动态上下文剪枝

本文提出一种采用动态修剪机制的 Autoregressive Transformers 方法，可以在保持模型表现力不变的同时，减少生成过程中上下文信息的存储和计算负担，有效地解决了推理成本过高的问题。实验证明，该方法可以高效地修剪 80% 的上下文信息，同时大幅提升推理吞吐量和节约存储空间。

May, 2023

图像压缩的隐式神经表示

本文从图像压缩的角度出发，探索了 INRs 的作用，提出了基于 INRs 的全面压缩流水线并进行了广泛的消融研究，结果表明，该方法表现优异，且与专门为图像设计的常用压缩算法竞争力相当，接近基于率失真自编码器的最新学习方法。

Dec, 2021