Jun, 2024

ProxyLM：通过代理模型预测多语言任务上的语言模型性能

PDF
TL;DRProxyLM 是一种可扩展的框架，通过使用代理模型在多语言任务中预测语言模型性能，减少与模型容量和微调数据相关的计算成本，大大降低了任务评估的计算负荷，同时展示了适应预训练语言模型中以前未见过的语言，提高了性能，并通过简化模型选择实现了高效部署和迭代式语言模型增强。
performance predictionmultilingual language modelsproxylmproxy modelscomputational overhead
发现论文，激发创造
  • 通过代理调整语言模型

    通过将代理调校应用于大规模预训练语言模型，我们可以通过解码时间的指导，高效地定制大型、潜在的专有语言模型，从而在知识、领域适应和任务特定微调方面实现理想的行为。

    Jan, 2024

  • 超越静态模型和测试集：在任务和语言间评测预训练模型的潜力

    本文提出了一种利用语言数据和语言类型学特征来预测跨语种语言模型性能的方法，以此取代传统基于翻译的方法评估系统，该方法表现良好并且能够可靠地估计模型在不同语言上的表现。

    May, 2022

  • LLM 性能预测模型为架构搜索提供良好初始值

    使用大型语言模型构建性能预测模型，并在机器翻译和神经架构搜索领域展示出优越的性能，同时提出基于大型语言模型的性能预测模型进行性能估计，以及一种基于混合搜索算法的神经架构搜索方法，通过这些方法可以显著降低搜索时间并改善性能指标。

    Oct, 2023

  • 利用大型语言模型从隐私保护掩码中恢复

    使用大型语言模型，本研究探索了替代标记符的可行性，以保护用户隐私，分析了不同方法的实验结果，在下游语言建模任务中实现了与原始数据训练相媲美的性能。

    Sep, 2023

  • 利用探测预测微调性能

    本研究探讨了使用轻量 Probing 方法去解释 NLP 模型内在机制的方法，通过对三项探测测试的准确性精确预测了模型的调优表现，为 NLP 模型的发展提供了可能。

    Oct, 2022

  • 自然语言处理任务性能预测

    本文提出了一种使用回归模型来预测 NLP 实验评估分数的方法，并证明了这种方法可以有效地预测 NLP 实验结果。同时，作者还提出这种方法可以用来确定实验的子集，以获得对所有实验设置的合理预测。

    May, 2020

  • 低资源语言的机器翻译性能预测：领域相似性的作用

    对于低资源语言（LRLs）来说，微调和测试多语言大型语言模型是昂贵和具有挑战性的。我们调查了微调语料库的大小、微调和测试语料库之间的领域相似性以及源语言和目标语言之间的语言相似性对模型性能的影响，结果表明领域相似性对机器翻译模型性能的预测有最重要的影响。

    Feb, 2024

  • 通过预测质量的代理方法测量掩盖语言模型中的社会偏见

    通过使用迭代的蒙板实验测量变压器模型的预测质量，并评估多层语言模型对于劣势群体和优势群体的偏好，我们比较了两个基准数据集上的偏见估计结果，并发现在考虑的多层语言模型中具有相对较高的宗教和残疾偏见，而在一个数据集中相对较低的性别偏见。我们的测量方法在与人类注释者的一致性方面表现优于其他方法。我们通过评估在蒙版语言建模目标下重新训练多层语言模型后引入的社会偏见进行扩展，并发现我们提出的测量方法比其他方法更准确地估计了变压器之间具有偏见的句子的相对偏好。

    Feb, 2024

  • Proto-lm: 基于原型网络的大型语言模型内置可解释性框架

    利用新型方法 proto-lm，在维持性能竞争力的同时，使大语言模型具备了解释性，为实现可解释性的模型铺平了道路。

    Nov, 2023

  • 大型语言模型的协同性能预测

    通过利用历史性能和其他设计因素，我们引入了一种新的框架 Collaborative Performance Prediction (CPP) 来显著提高性能预测准确性，该框架不仅超越了传统的缩放法则在预测扩展 LLMs 的性能方面，还促进了对因素重要性的详细分析，在 NLP 研究中全面理解和准确预测大规模语言模型在各种下游任务中的表现已成为一个关键性的挑战。

    Jul, 2024