- 推理的流程:具有发散思维的 LLM 策略的高效训练
通过 Flow of Reasoning(FoR)这一高效的 LLM 训练方法,能够在很少的训练数据的情况下,发现多样化高质量的解决方案,并且在三项任务中(包括具身化推理、数学谜题解决和逻辑推理)显著超越当前最先进的方法。
- 借助解缠绕的自监督学习和元学习提升医学图像分类的少样本学习
应用于医学成像等关键领域的深度学习模型使用受限的训练数据,我们提出了一种策略来提高在低数据情况下训练的模型的性能和泛化能力。通过预训练和元微调,本方法通过在元训练中暴露模型于更具挑战性的分类任务,进而在元测试中对更具临床相关性但更容易的任务 - 自然语言处理的预训练 - 微调范式教程
预训练 - 微调范式是一种创新的自然语言处理方法,通过使用大型预训练语言模型,在有限的训练数据下,展现出卓越的效率,尤其适用于社会科学研究。本教程全面介绍了预训练 - 微调范式的基本概念并提供实际应用示例,包括多类别分类和回归。旨在鼓励更广 - 潜在状态空间中的可微树搜索
在决策问题中,由于训练数据有限,使用深度神经网络逼近的策略函数常常表现出亚优性。作者引入了一种名为 Differentiable Tree Search (DTS) 的新颖神经网络架构,通过嵌入最佳优先在线搜索算法的算法结构,显著增强了归纳 - OnDev-LCT: 面向联合学习的设备本地轻量级卷积变换器
提出了 OnDev-LCT:适用于具有有限训练数据和资源的设备上的轻量级卷积变换器,该模型通过利用残差线性瓶颈块中的高效深度可分离卷积来提取局部特征,并通过 LCT 编码器中的多头自注意机制隐式地捕获图像的全局表示。大量基准图像数据集上的实 - 自适应样式技术提升指纹活体检测的泛化能力
我们介绍了一种高性能的指纹活体特征提取技术,该技术在 LivDet 2023 指纹特征展示挑战中获得第一名。此外,我们还开发了一个实用的指纹识别系统,准确率达到 94.68%,在 LivDet 2023 活体检测行动中获得第二名。通过研究各 - 少样本医学图像分类的即插即用特征生成
通过 MedMFG 方法,针对少样本学习在医学图像分类中的过拟合问题,生成丰富有效的特征,并结合原型训练出更具普适性的分类器,实验证明该方法在不同领域的图像分类上具有显著改进。
- 基于通用跨领域多标签少样本学习的胸部 X 光图像识别
利用少量训练数据,跨域迁移,多标签元学习等方法,提出了一个称为综合交叉域多标签少样本学习(GenCDML-FSL)的集成框架,用于胸部 X 射线异常分类,实验证明其优于传统方法。
- ICLR通过神经元活动感知可塑性实现无监督的 3D 物体学习
本文提出一种无监督的深度学习模型用于 3D 物体分类,该模型采用新颖的神经元活动感知 Hebbian 学习规则,可以动态地调整神经元的 Hebbian 学习或反 Hebbian 学习,以适应复杂几何物体的任务,并通过理论分析和实验结果证明该 - ACL使用状态空间模型建模歌词情感动态
本文提出了一种基于状态空间模型 (SSM) 的方法,通过组合句子级情感预测器和期望最大化 (EM) 过程来为每个歌曲生成完整的情感动态,该方法不需要任何注释过的歌曲,因此非常适合于有限的训练数据情境,并可显著提高基线模型的性能。
- EMNLP利用 Fisher Mask 提高锐度感知极小化在语言模型上的泛化性能
本文提出了一种新的优化方法 FSAM,它通过引入 Fisher 掩码来改善 SAM 方法的效率和性能,它利用 Fisher 信息识别重要参数以进行稀疏扰动,并在各种任务中展示出更好的效果,尤其是在有限的训练数据上。 FSAM 可以在四种不同 - EMNLP只有 400 个样本!重新审视自动生成拼音规则对菲律宾语拼写规范化的有效性
本研究提出了一种基于 N-Gram 与 Damerau Levenshtein 距离模型的自动规则抽取方法,这种模型利用少量的数据进行训练,实现了良好的性能,并且在没有足够数据时,传统的方法胜过复杂的深度学习模型。
- ECCV基于注册的少样本异常检测
本文提出一种少样本异常检测方法,通过注册任务作为代理任务,训练一个通用的无类别模型来检测输入图像是否为异常,并在大型基准测试中实现了优于现有方法 3%-8%的表现。
- 利用语料库相似性衡量在低资源环境下嵌入可靠性的预测
本研究通过模拟 17 种语言的低资源情境,评估嵌入式相似性、稳定性和可靠性在不同条件下的表现,并利用语料相似度来预测训练后的嵌入式属性,结果表明可以利用小数据集下的语料相似度估计低资源情境中嵌入式的可靠性。这些结果对于那些数据受限制无法进行 - 自监督训练的图卷积网络
本文提出了两种无监督自学习策略来利用输入图形结构数据中的可用信息,以进一步改善有限的训练数据下模型的学习能力和性能。该方法在三个公共引文网络数据集上使用两个代表性的 GCN 模型进行了实验验证,展示了其在显著提高特征学习方面的自我监督学习能 - CVPR学习视频目标分割的快速和稳健的目标模型
该研究提出了一种新的视频对象分割方式,它由轻量级模块和分割模型两部分组成。在推理阶段使用快速优化技术学习目标外观模型,以预测出粗略但鲁棒的目标分割,然后将粗略的分数转化成高质量的分割掩模,该模式具有快速、易于训练、在有限的训练数据情况下仍然 - ICCV基于先验知识的单幅图像 3D 重建的少样本泛化
本文提出一种新的模型架构,将单视角三维重建重新定义为分类无关的先验纠正学习,初步结果表明该模型可以从提供的少至一组三维形状开始对目标物品进行分类再建,无需重新训练,且对于多视角的立体成像也有较好表现。
- 有限训练样本下的谐波网络
本研究表明,使用离散余弦变换(DCT)滤波器的谐波块,可在有限的训练数据情况下与使用小波作为预设滤波器的散射网络相比,有效降低训练参数数量和过度拟合,从而提高卷积神经网络(CNN)的性能。
- MM基于说话人自适应的神经声码器的参数化语音合成系统
本文提出了适应性讲话者神经声码器,用于参数文本到语音(TTS)系统,利用全局属性提取方法及目标讲话者特征优化获得了高质量可自适应的 TTS 语音合成。
- 稀缺训练数据情境下细粒度物体识别的显著性
本文研究利用显著性在很少的训练数据时提高卷积神经网络的分类准确性。我们利用在现有 CNN 架构中添加显著性分支来引导特征提取过程,从而训练出一个具有高水平的对象识别精度的模型。我们的实验表明,显著性方法可以显著提高网络性能,特别是在很少的训