轻量级点云模型中，为了解决语义差距问题，提出了双向知识重构来蒸馏教师模型中的上下文信息和全局形状知识，同时使用基于最优运输的特征移动距离损失来解决特征对齐问题，实验结果表明该方法的普适性和优越性。

Oct, 2023

无监督表示学习在处理高维数据模态时受限于数据特异性的稳定性和拓扑性，而生物智能系统却没有这样的限制。我们引入了一个新的框架，从缺乏稳定性和拓扑性的高维数据中进行学习，通过可学习的自组织层、密度调整的谱聚类和掩码自编码器的结合，我们的模型在生物视觉数据、神经记录以及基因表达数据上得到了有效的评估。与 SimCLR 和 MAE 等最先进的无监督学习方法相比，我们的模型在不依赖于稳定性和拓扑性的情况下能更好地学习到有意义的表示，也胜过了其他与这些因素无关的方法，从而在该领域开辟了新的基准，这项工作是迈向能够在不同高维数据模态之间泛化的无监督学习方法的一步。

Oct, 2023

本文介绍了一种使用 BYOL 自我监督学习方法的异质图神经网络模型，通过对网络模型和元路径视角进行高层表达来解决异质图生成高质量对的困难问题，并在实际数据集上展示了良好的性能。

Jan, 2022

本文提出了一种基于知识蒸馏算法优化神经网络的方法，利用传统无线通信系统优化的思路与新兴神经网络技术相结合，以提高性能和收敛速度，并在模拟实验中证明了该方法的优越性。

Aug, 2023

通过基于关系的知识框架和轻量级模型，实现了医学图像分割领域中的多种数据源的集成，提高了模型的泛化能力和适应性，同时减少了推理时间和存储使用，成为实时医学图像分割的实用和高效的解决方案。

Apr, 2024

本文介绍了一种用于自监督图数据表示学习的概念简单而有效的模型，其通过数据增强生成输入图的两个视图，并通过受经典标准相关分析启发的创新特征级目标进行优化，旨在学习不变表示，并通过不同维度中的相关特性来防止退化解决方案，最终在七个公共图数据集上表现竞争力。

Jun, 2021

该论文开发了一种名为鲁棒特征知识蒸馏（RFKD）的框架，通过从教师模型的逻辑层和中间特征图中提取知识，并利用混合的清晰和噪声图像将稳定的模式传递给学生模型，提高其精度、泛化性能和抗噪声性能，从而改善轻型裂缝分割模型的鲁棒性。验证结果表明，在噪声图像上，RFKD 相比于最先进的知识蒸馏方法在平均 Dice 分数上提高了 62%。

Apr, 2024

本文针对现代深度学习神经网络模型需要大量手动标注数据以及从大量文本数据中构建领域特定知识图谱的困难问题，提出一个将知识图谱自适应和重新学习应用于不需要手动注释训练数据的领域适应性构建的综合框架，并引入了一种新的迭代训练策略来促进领域特定命名实体和三元组的发现和抽取，实验结果表明，该框架可以有效执行领域适应和构建知识图谱的任务。

Nov, 2022

本研究使用自我监督学习与深度神经网络等方法，探索提取声音和语音特征的最优表征，提出了多种编码器架构，并探讨了不同的预训练数据集。最后，我们提出了一个新的训练框架，用于结合手工特征和数据驱动特征，得到一个混合音频表征。在 HEAR 毕业设计的听觉场景分类和时间戳检测任务中，我们的实验表明，使用混合模型和卷积变压器作为编码器在大多数任务中都具有更优越的性能。

Jun, 2022

通过图生成提高无监督域适应中的目标检测质量，并在语义对齐和适应领域之间保持类别不变的信息以实现最准确的跨域语义对齐。

Apr, 2024