通过在有限真实数据环境下使用深度生成模型（Deep Generative Models, DGMs）生成逼真可靠的合成表格数据，该论文提出了一种新颖的方法，通过转移学习和元学习技术在 DGM 中生成人工归纳偏差。其中，采用预训练和模型平均等转移学习策略优于采用元学习方法，例如模型无关元学习和领域随机搜索。通过验证方法，使用变分自动编码器和生成对抗网络两种最先进的 DGM，表明我们的人工归纳偏差可提供更高质量的合成数据，通过 Jensen-Shannon 散度测量，相对收益可达 50％。该方法具有广泛适用性于各种 DGM 和机器学习任务，特别适用于数据稀缺常见的领域，如卫生保健和金融。

Jul, 2024

提出了 MomentsNeRF，一种新的一次和少量次一次性神经渲染框架，使用正交矩计算预测三维场景的神经表示。在合成具有复杂纹理和形状的图像方面，MomentsNeRF 表现更好，实现了显著的噪声降低、伪影消除和填补缺失部分，超越了最近的一次和少量次神经渲染框架的能力。在 DTU 和 Shapenet 数据集上进行了大量实验，MomentsNeRF 在 PSNR（3.39 dB）、SSIM（11.1%）、LPIPS（17.9%）和 DISTS（8.3%）等指标方面改进了最先进的技术，并且在新视角合成和单图像三维视图重构方面表现出色。源代码可在此链接获取。

Jul, 2024

探讨使用合成数据集在标签系统中的应用，研究发现将合成数据集添加到 GTZAN 训练集并不能提高性能，而领域自适应和迁移学习策略可以提升准确度，为未来研究提供了有益的参考。

Jul, 2024

我们介绍了一种具有上下文感知的 Abductive Rule Learner（ARLC）模型，它基于 Learn-VRF 解决抽象推理任务。ARLC 具有新颖且更广泛适用的训练目标，用于推断推理，能够在解决 Raven's progressive matrices（RPM）时提供更好的可解释性和更高的准确性。ARLC 允许编程的领域知识以及学习数据分布的规则。我们在 I-RAVEN 数据集上评估 ARLC，在内分布和未曾见过的属性 - 规则对测试中展示出最先进的准确性。尽管具有数量级更少的参数，ARLC 超越了神经符号化和连接主义基线，包括大型语言模型。我们通过在程序化知识之上逐渐学习示例来验证 ARLC 对后程序化训练的稳健性，这只会提高其性能，而不会导致程序化解决方案的灾难性遗忘。我们验证了 ARLC 从 2x2 RPM 星座到未见星座的无缝迁移学习。

Jun, 2024

使用大型语言模型和迁移学习技术，本研究提出一种替代 CAREER 基础模型微调的方法，对下一个工作预测任务进行训练并展示了其在代表性调查数据上的预测性能优于传统计量模型、CAREER 和具有情境学习的大型语言模型。

Jun, 2024

该论文介绍了一种新颖的矩阵对角化框架，将其重新定义为一个顺序决策问题，并应用决策转换器的力量。通过使用 Jacobi 算法在对角化过程中确定最佳的枢轴选择，相较于传统最大元素 Jacobi 方法，我们的方法实现了显著的加速。为了增强鲁棒性，我们还整合了 ε- 贪心策略，使得在确定性方法失效的情况下仍然能够成功。本研究展示了决策转换器在复杂计算任务中的有效性，并突出了通过机器学习视角重新构想数学运算的潜力。此外，我们通过使用迁移学习来对比训练过的较小规模矩阵进行对角化，证实了我们方法的泛化能力。

Jun, 2024

我们提出了一种基于概率神经网络和贝叶斯传递学习的锐度感知贝叶斯模型平均方法，通过寻找平的极小值来提高模型的泛化性能。

Jun, 2024

该论文通过对池化的最小 l2 范数插值在转移学习中的广义误差进行建模，研究了模型转换和协变量转换下的偏差和方差。

Jun, 2024

传统的预训练 - 微调策略已被视为现代语言建模中的转移学习策略，但需要更具目标敏感性的参数正则化方法以实现更平滑的转移学习。本文通过信息论的角度研究了预训练损失函数在任务敏感参数上的影响，并利用研究结果提出了一种新颖的用于改善模型正则化和下游泛化性能的 dropout 方法，名为 guided dropout。通过实证评估表明，相比于标准基线，在数据稀缺的情况下，我们的正则化方法始终能够得到更好的性能。

Jun, 2024

使用迁移学习对流行的 CNN 图像分类架构进行训练，以预测图片中四足哺乳动物物种的可见侧面，从而提高对个体的识别准确性。在不同的未知环境和地理位置下，通过已有数据集进行模型评估，最终在复杂栖息地下对拍摄于巴伐利亚森林国家公园的欧亚猞猁数据集进行验证，最佳模型（使用 EfficientNetV2 骨干）达到 88.70% 的准确率。

Jun, 2024