人工神经网络中的潜在通信
通过对相对空间的角度保持相对表示的可逆性进行形式化,并假设神经模型中解码器模块的尺度不变性,我们将两种方法结合起来,通过相对空间获得潜在空间转换的新方法。通过在各种架构和数据集上进行大量实验证实了我们的尺度不变性假设,并证明了我们方法在潜在空间转换中的高准确性。我们还将我们的方法应用于任意预训练文本和图像编码器及其分类器之间的零射缝,甚至跨模态。通过组合性,我们的方法具有促进模型实际重用的显著潜力。
Jun, 2024
本研究提出一种模拟语言特征的通信协议,通过将高维信息编码为低维表示来分析对任务表现的影响,进而提高任务完成率,并强调了语言作为代理之间共同表征的作用及其对泛化能力的影响。
May, 2023
本文主要研究利用神经网络将数据流形的几何结构嵌入到潜在表征中,提出了根据潜在表示中样本与预设锚点之间的相对关系来实现所需不变性的方法,并在不同数据集、不同架构、不同任务下进行了验证。
Sep, 2022
通过简单的转换,我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化,从而有效地连接编码器和解码器,并实现在多模态设置下的出色分类性能。
Nov, 2023
在未来的 6G 无线网络中,语义和效能方面的通信将起到基础作用,将意义和相关性融入传输中。本文提出了一个新的面向目标的语义通信框架,通过潜在空间对齐来减轻语义不匹配问题。我们提出了一种动态优化策略,适应相对表示、通信参数和计算资源,实现了高效能、低延迟、面向目标的能源储效率的语义通信。数值结果表明我们的方法在减轻设备间不匹配问题的同时,优化了能源消耗、延迟和效能。
Mar, 2024
本篇论文研究了多语言神经翻译的基石,即跨语言共享表示;论文通过将编码器输出离散化为一系列条目的方式,提高了模型的鲁棒性和泛化能力,并尝试使用一种人造语言来分析模型的行为,发现类似的桥梁语言能够增加知识共享。
Nov, 2022
本文研究了是否可以通过连续路径将同一类别的输入在原始或潜在的表征空间中连接起来,以使神经网络模型将路径上的所有点映射到相同的类别。理解神经网络如何看待自己的输入空间以及潜在空间的结构对于可解释性和鲁棒性具有价值。我们证明,在所研究的所有情况下,存在连接同类别输入的线性或非线性路径。
Nov, 2023
本文提出了一种适用于动态网络的统计模型 Neural Latent Space Model with Variational Inference,该模型能够表示并预测网络结构的演化,并在同质、双部分和异质网络的真实数据集上表现出优异的性能。
Nov, 2019
本研究通过使用干预机制,利用离散变分自编码器来转移预测类别,进而可视化任何隐藏层的编码信息和对应的被干预表示来揭示深度神经网络的隐含概念,并通过评估原始表示与被干预表示之间的差异来确定可改变类别的概念,从而提高模型的可解释性。我们在 CelebA 数据集上展示了我们方法的有效性,并展示了有偏差数据的各种可视化并提供不同的干预方法来揭示和更正偏见。
Dec, 2021