Mar, 2024

用于地球观测中数据高效下游训练和推断的压缩多任务嵌入

PDF
TL;DR基于神经压缩学习的神经嵌入压缩技术（NEC）通过将压缩的嵌入向量传输给数据使用者而不是原始数据，以降低地球观测数据模型训练和推理的转移和存储成本。通过学习神经压缩技术，我们实现了多任务嵌入向量的生成，并在压缩率和嵌入向量效用之间寻找平衡。我们在场景分类和语义分割两个地球观测任务上评估了 NEC，与对原始数据应用传统压缩相比，NEC 在大幅减少数据量（75% 至 90%）的同时保持了相似的准确性。即使在 99.7% 的压缩情况下，场景分类任务的性能仅下降了 5%。总体而言，NEC 是一种高效的多任务地球观测建模方法。
发现论文，激发创造
  • 学习压缩嵌入，为设备内推理提供支持

    提出一种新型的多嵌入压缩方法 MEmCom，利用哈希和可训练权重分别构建两个嵌入表来同时实现对嵌入表的压缩和各实体对应独特嵌入的映射，该方法在多个问题类别上超过现有技术，并在压缩嵌入大小的同时实现与非压缩嵌入相近的区分能力。

    Mar, 2022

  • 面向设备的自然语言理解的极致模型压缩

    本文提出了针对神经自然语言理解模型的极端压缩技术，并在资源受限设备上进行了实验。在任务知晓的全流程压缩方法中，我们将词嵌入压缩与 NLU 任务学习相结合，经大规模商业 NU 系统测试，实现了 97.4% 的压缩率，同时预测性能下降不到 3.7%。

    Nov, 2020

  • 使用组合式代码嵌入压缩基于 Transformer 的语义解析模型

    本研究提出一种学习组合码嵌入以极大地减小 BERT 等模型尺寸的技术，并将其应用于语义解析，以及评估码嵌入尺寸与下游表现之间的权衡，实现语义解析的高性能同时符合语音助手等设备的存储要求。

    Oct, 2020

  • MMEarth: 多模态预测任务研究地理空间表示学习

    利用未标记的地球观测数据创建多模态预训练数据集，通过多模态预训练任务，提出了改进的 ConvNeXt V2 架构的 Multi-Pretext Masked Autoencoder (MP-MAE) 方法，证明多模态预训练可以显著提高图像分类和语义分割的性能，以及标签和参数的效率。

    May, 2024

  • 混合专家隐式神经压缩模型

    用深度神经网络中参数对数据进行压缩的隐式神经表示（INR）是一种有前景的数据压缩技术，提出了一种基于专家组混合理论的新型隐式神经压缩方法 MoEC，通过自动分配 INR 给场景中的 3D 点，可以自适应地找到最佳分区并在海量多样的生物医学数据上实现了与现有方法相比的最新研究成果。

    Dec, 2023

  • 基于低秩矩阵分解的文本分类在线嵌入压缩

    本研究提出一种深度学习模型的压缩方法，利用低秩矩阵因式分解来压缩自然语言处理中的字词嵌入层，经过实验证明可以在 90% 的压缩比下保持精度不受影响，并且在句子分类任务上表现优于其他方法，同时还引入了一种新的学习率调度算法 CALR，其在句子分类基准测试中表现出优越性。

    Nov, 2018

  • 基于神经网络的太阳图像数据压缩方案

    研究太阳系特别是太阳依赖于每天从太空任务中收集到的数据。本文提出了一种基于神经网络的有损压缩方法，用于 NASA 的数据密集型成像任务，该方法在压缩极紫外（EUV）数据时，在速率失真（RD）性能方面优于当前使用和最先进的编解码器如 JPEG 和 JPEG-2000。

    Nov, 2023

  • 深度组合编码学习压缩词向量

    该论文提出了一种使用少量基向量构建嵌入式编码、使用 Gumbel-softmax 技巧直接学习离散码表的自然语言处理模型压缩方法，并在情感分析和机器翻译任务中实现了 98% 的压缩率，从而达到在不影响性能的前提下减少内存占用的目的，该方法不需要改变网络结构且具有语言无关性。

    Nov, 2017

  • 基于分层自编码器的大规模高分辨率科学数据有损压缩

    我们提出了一个神经网络模型，能够在不牺牲重建质量的情况下，显著压缩大规模科学数据，并在公开的科学基准数据集和高分辨率气候模型数据集上进行了测试，达到了 140 的压缩比和可忽略的重建误差。

    Jul, 2023

  • 基于图强化学习的自编码器的多接入边缘计算中用于 CNN 推理的动态语义压缩

    本研究针对动态多接入边缘计算网络中的 CNN 推理进行计算卸载的研究，提出了一种新颖的语义压缩方法 AECNN，通过自编码器构建的 CNN 架构，在部分卸载中进行有效的语义提取和压缩，并通过图强化学习的方法 GRL-AECNN 解决卸载问题，具有优于现有方法的性能。

    Jan, 2024