量化、多语言 LLMs 的性能、语言、评估

Jul, 2024

该研究探讨了软件漏洞对日常软件系统的重大影响，评估了深度学习模型在现实场景中的表现，并发现了性能下降和过拟合等问题，提出了一个改进的数据集用于评估模型，并提出了增强技术以提高性能。

Jul, 2024

通过对两个基准数据集的广泛实验，我们发现几个有深远意义的结论，包括观察到大语言模型可以从增加试验和探索中获益。我们相信我们的实证研究为未来的工具学习研究提供了新的视角。

Jul, 2024

SegVG 是一种新颖的方法，通过将边界框级别的注释转化为分割信号，为视觉定位任务提供了像素级别的监督。通过多层多任务编码器 - 解码器，我们学习了回归查询和多个分割查询，以在每个解码层中通过回归和分割来定位目标。通过三重对齐模块来减少域间差异，该模块使用三重注意机制来更新查询、文本和视觉特征，从而提升了目标定位性能。在五个广泛使用的数据集上进行的大量实验证实了我们的卓越性能。

Jul, 2024

我们提出了广义牛顿法（GeN）—— 一种基于海森矩阵的方法，适用于任何优化器（如 SGD 和 Adam），并将牛顿 - 拉弗森法作为一个子案例。我们的方法自动动态地选择加速收敛的学习率，无需进行繁琐的学习率调度。在实践中，我们的方法易于实施，因为它只需要进行附加的前向传递，几乎不会带来计算开销（以训练时间和内存成本计），如果将开销分摊到许多迭代中。我们展示了在语言和视觉任务上的大量实验证明 GeN 优化器可以与现有技术的性能相匹配，而这些现有技术是通过仔细调整学习率调度器来实现的。代码将在 https://github.com/ShiyunXu/AutoGeN 发布。

Jul, 2024

利用物理约束，我们的模型在专业领域的神经网络候选者中显著减少了冗余参数，并取得了高效率和优越性能。

Jul, 2024

利用集成学习和半监督学习，基于先前手动标记的数据，提出了一种新的方法来解决阿拉伯推文的仇恨言论分类任务，并通过对标记的阿拉伯推文进行分类实验，实验证明：（1）基于预训练语言模型的集成学习优于现有相关工作；（2）我们提出的数据增强方法改进了阿拉伯推文中仇恨言论检测的准确性，并优于现有相关工作。我们的主要贡献是在阿拉伯语仇恨言论检测中取得了鼓舞人心的结果。

Jul, 2024

在 Dueling Bandits 情境中，本文研究了 Large Language Models (LLMs) 作为决策者的表现，并引入了一个增强算法 IF-Enhanced LLM，该算法结合了 LLMs 的上下文决策能力和经典 DB 算法的理论保证，以提高 LLMs 在做决策任务时的可信度和性能鲁棒性。

Jul, 2024

大型语言模型可在知识图谱上进行创新的问答，但未本质上为查询生成而设计。为弥合这一差距，提出了依赖微调或特定架构的解决方案，取得了良好结果但领域外分布泛化有限。在本研究中，我们介绍了一种名为动态少样本学习（DFSL）的新方法。DFSL 整合了上下文学习和语义相似度的效率，并为 KGQA 提供了普遍适用的解决方案，具有最先进的性能。我们在多个基准数据集和架构配置上进行了广泛评估。

Jul, 2024

使用回归模型自动识别高性能的数据混合，通过联合所有领域一起考虑以捕捉复杂性，RegMix 方法超过人工选择，并且仅使用 10％的计算预算实现与 DoReMi 相比匹配或更好的结果。

Jul, 2024