- 领域泛化通过元学习:一项调查
深度神经网络在人工智能领域带来了革命性的进展,但面对分布转移时常常缺乏性能。传统神经网络假设训练和测试数据服从同一分布,然而实际应用中这一假设经常被违反。元学习作为一种有前景的方法,通过获取可传递的知识来快速适应各种任务,从而消除了从头学习 - 学习领域不变的少样本动作识别的时间动态
我们提出了 DITeD,或称为领域不变的时间动力学,在有限的样本和分布偏移的情况下,通过快速适应预训练模型来识别和利用预训练模型学到的可转移知识,其中关键挑战是如何识别和利用潜在变量之间的时间不变性(领域不变性)进行知识转移。
- 零样本基于草图的图像检索的对称双向知识对齐
该论文提出了一种用于零样本草图图像检索的新型方法,采用了对称双向知识对齐学习框架以实现教师和学生模型之间的知识对齐,通过一对多的聚类跨模态匹配方法来缩小模态差距,实验证明该算法在多个 ZS-SBIR 数据集上表现优越。
- 贝叶斯主动元学习的基本困境
贝叶斯主动元学习是一种序列最优实验设计的框架,旨在解决多个不同但相关的数据稀缺任务环境中参数估计的问题,然而,在某些情况下,贪婪追求传递性知识可以损害可转移参数的估计,引起所谓的负转移。
- 跨领域少样本分类的自适应语义一致性
通过设计自适应语义一致性机制,提出了一种适应性的源领域知识转移框架(ASC),通过在源领域预训练中重用源图像并设计自适应的权重分配策略,实现了源领域知识向目标领域的显式转移,有效地减轻了跨领域 few-shot 分类中过拟合的问题。
- 通用等变转换器及其在 3D 分子相互作用学习中的应用
该论文提出一种通用的分子相互作用模型,通过将三维分子表示为几何图形集的方法,使得能够捕获稀疏块级和密集原子级交互,通过进行广泛的实验证实了该方法对不同领域和不同任务进行可转移的学习具有潜力。
- Meta-KD: 跨领域语言模型压缩的元知识蒸馏框架
利用领域间的可转移知识,我们提出了一种元知识蒸馏 (Meta-KD) 框架,将初始的深度预训练模型压缩为体积更小的单域学生模型,并在多个 NLP 任务上进行了实验验证。
- ACL寻找有效的神经生成式摘要:现状和下一步工作
本文研究了深度神经网络在文本摘要中的应用,通过研究模型架构、可转移的知识和学习模式等方面,提出了改进现有框架的有效方法,并在 CNN/DailyMail 数据集上取得了领先的成果,为未来摘要研究提供了线索。