通过多任务学习范式，利用三个以摘要为重点的任务训练编码器，提出了一种新的改进代码摘要的方法，这三个任务包括单向语言建模（ULM）、掩码语言建模（MLM）和动作词预测（AWP）。实验证明，我们的方法 ESALE 在四个数据集上的表现明显优于基线模型，包括 BLEU、METEOR 和 ROUGE-L 三个广泛使用的指标。

Jul, 2024

本文研究使用大规模预训练语言模型（PLMs）在高资源语言中用于开放领域对话系统的语言可移植性策略，主要以法语作为目标低资源语言，通过不同方法评估在目标语言中使用 PLMs 的性能，包括神经机器翻译和 MAD-X Adapter 架构的应用。

Jul, 2024

我们介绍了一种具有上下文感知的 Abductive Rule Learner（ARLC）模型，它基于 Learn-VRF 解决抽象推理任务。ARLC 具有新颖且更广泛适用的训练目标，用于推断推理，能够在解决 Raven's progressive matrices（RPM）时提供更好的可解释性和更高的准确性。ARLC 允许编程的领域知识以及学习数据分布的规则。我们在 I-RAVEN 数据集上评估 ARLC，在内分布和未曾见过的属性 - 规则对测试中展示出最先进的准确性。尽管具有数量级更少的参数，ARLC 超越了神经符号化和连接主义基线，包括大型语言模型。我们通过在程序化知识之上逐渐学习示例来验证 ARLC 对后程序化训练的稳健性，这只会提高其性能，而不会导致程序化解决方案的灾难性遗忘。我们验证了 ARLC 从 2x2 RPM 星座到未见星座的无缝迁移学习。

Jun, 2024

使用大型语言模型和迁移学习技术，本研究提出一种替代 CAREER 基础模型微调的方法，对下一个工作预测任务进行训练并展示了其在代表性调查数据上的预测性能优于传统计量模型、CAREER 和具有情境学习的大型语言模型。

Jun, 2024

本论文提出了一种名为 Meta-GCN 的元学习算法，通过同时最小化无偏元数据集损失和优化模型权重来自适应地学习样本权重，实验证明 Meta-GCN 在两个不同数据集上的分类任务中在准确性、接收器操作特性下的曲线下面积（AUC-ROC 曲线）和宏 F1 分数等方面优于现有最先进框架和其他基线模型。

Jun, 2024

该论文介绍了一种新颖的矩阵对角化框架，将其重新定义为一个顺序决策问题，并应用决策转换器的力量。通过使用 Jacobi 算法在对角化过程中确定最佳的枢轴选择，相较于传统最大元素 Jacobi 方法，我们的方法实现了显著的加速。为了增强鲁棒性，我们还整合了 ε- 贪心策略，使得在确定性方法失效的情况下仍然能够成功。本研究展示了决策转换器在复杂计算任务中的有效性，并突出了通过机器学习视角重新构想数学运算的潜力。此外，我们通过使用迁移学习来对比训练过的较小规模矩阵进行对角化，证实了我们方法的泛化能力。

Jun, 2024

我们提出了一种基于概率神经网络和贝叶斯传递学习的锐度感知贝叶斯模型平均方法，通过寻找平的极小值来提高模型的泛化性能。

Jun, 2024

该论文通过对池化的最小 l2 范数插值在转移学习中的广义误差进行建模，研究了模型转换和协变量转换下的偏差和方差。

Jun, 2024

传统的预训练 - 微调策略已被视为现代语言建模中的转移学习策略，但需要更具目标敏感性的参数正则化方法以实现更平滑的转移学习。本文通过信息论的角度研究了预训练损失函数在任务敏感参数上的影响，并利用研究结果提出了一种新颖的用于改善模型正则化和下游泛化性能的 dropout 方法，名为 guided dropout。通过实证评估表明，相比于标准基线，在数据稀缺的情况下，我们的正则化方法始终能够得到更好的性能。

Jun, 2024

使用迁移学习对流行的 CNN 图像分类架构进行训练，以预测图片中四足哺乳动物物种的可见侧面，从而提高对个体的识别准确性。在不同的未知环境和地理位置下，通过已有数据集进行模型评估，最终在复杂栖息地下对拍摄于巴伐利亚森林国家公园的欧亚猞猁数据集进行验证，最佳模型（使用 EfficientNetV2 骨干）达到 88.70% 的准确率。

Jun, 2024