基于深度神经网络和元学习的方法，实现在缺少标准数据的情况下，用少量样本进行特定任务的有效训练，并在图像处理和磁共振成像等多个领域展示了方法的有效性。

Nov, 2023

使用 Transformer 架构和基于图的超参数优化技术提出了一种改善多模态输出场景中预测准确性的新方法，在稀疏实验数据与模拟数据相结合时，该方法不仅能有效减少模拟偏差，而且与以前的方法相比，预测准确性更高。我们在惯性约束聚变实验和这些实验的合成版本上展示了我们方法的效果，在这些实验中，只有 10 次真实世界数据可用。

Dec, 2023

本文通过领域自适应问题提出了新的理论和建模方法，为在新数据少的目标领域中改善公平性提供了解决方案，实证结果证明该方法能够较少数据的情况下改善公平指标

Jun, 2019

本论文旨在研究机器学习模型在教育领域的应用中可能存在的偏见以及公平性问题，并通过对转换神经网络模型在两个表格数据集中的应用实践，展示了公平性和分类性能之间的权衡关系。

Jun, 2022

通过集成式蒸馏方法从轻量级教师模型中蒸馏归纳偏差，我们介绍了一种创新的蒸馏方法，以支持视觉转换和文本领域之间的统一信息处理，提高了学生性能，并减轻了计算负担和提高了效率。

Sep, 2023

该研究提出了一种新颖的基于蒸馏的方法，用于训练视觉 transformers，并取得了比先前同等架构的 transformers 更好的性能，该方法的关键是使用具有不同归纳偏差的轻量级 teachers 来共同指导 student transformer，从而实现不同的知识交汇和提升。

Jun, 2021

这篇论文研究了使用深度神经网络架构解决多元时间序列插补问题。通过利用低秩插补方法的经验和专长，我们为传统的 Transformer 模型添加了三项知识驱动的增强，包括投影时间注意力、全局自适应图卷积和 Fourier 插补损失。这些面向任务的归纳偏置利用了不完整时间序列的内在结构，使得我们的模型适用于多种插补问题。我们通过在包括交通速度、交通流量、太阳能、智能电表和空气质量等异构数据集上进行全面的案例研究来进一步加强其可解释性，并通过有希望的实证结果有力地证明了将低秩属性等时间序列原始特征纳入模型可以大幅促进通用化模型的开发，从而解决广泛的时空插补问题。

Dec, 2023

本文提出了一种优化基于追踪算法，采用 Transformer 模型实现的目标模型预测模块，并进一步扩展模型预测器以估计第二组权重以实现精确的边界框回归，该跟踪器在多个跟踪数据集上进行了广泛的实验，并在三个基准测试中取得了 68.5% 的 AUC 值。

Mar, 2022

提出一种在边缘推理领域内，通过有效利用视觉 Transformer（ViTs）模型的通信高效的协同推理框架。该框架运用了轻量级的 ViT 模型在边缘设备上，服务器采用复杂的 ViT 模型，以提高通信效率并实现与服务器模型相当的分类准确性，通过关注度感知的补丁选择和熵感知的图像传输策略实现。实验证明，该协同推理框架可以将通信开销减少 68%，同时仅有最小的准确性损失。

Feb, 2024

本文提出一种基于生成模型的元任务生成方法，称为 LAtent Space Interpolation Unsupervised Meta-learning (LASIUM)，通过从潜在空间中生成分组成群的对象，构建元任务的训练和验证数据，应用于少样本分类任务中的实验表明其性能优于或与当前无监督学习基线相竞争，并且该方法不需要手工调整，扩展性高。

Jun, 2020