Feb, 2024

OmniPred：语言模型作为通用回归器

PDF
TL;DR通过仅使用数学参数和数值的文本表示，本研究提出了一种名为 OmniPred 的框架，将语言模型训练为通用的端到端回归器，从多个真实世界实验的 $(x,y)$ 评估数据中准确预测系统或模型的结果指标，并展示了其在大规模黑盒优化数据库 Google Vizier 上的广泛实验中的性能优势。
regressionomnipredlanguage modelsend-to-end regressorsblackbox optimization
发现论文，激发创造
  • UniPredict：大型语言模型是通用表格预测模型

    利用生成模型和大型语言模型，该研究提出了一种名为 UniPredict 的通用表格数据预测模型，在广泛的数据集上展示了优越性能，并在少样本学习中快速适应新任务，为开发基于数据规模学习且适用于各种预测任务的通用表格数据预测系统提供了新的思路。

    Oct, 2023

  • 自然语言处理任务性能预测

    本文提出了一种使用回归模型来预测 NLP 实验评估分数的方法，并证明了这种方法可以有效地预测 NLP 实验结果。同时，作者还提出这种方法可以用来确定实验的子集，以获得对所有实验设置的合理预测。

    May, 2020

  • GLUE-X: 从越界泛化角度评估自然语言理解模型

    本文介绍了创建一个名为 GLUE-X 的统一基准的首次尝试，该基准用于评估自然语言处理模型中的 OOD 鲁棒性，在 13 个公开可用的 OOD 测试数据集上验收模型，发现模型在 OOD 任务上的性能明显下降，对提高模型鲁棒性提供了一些见解和改进方案。

    Nov, 2022

  • ProxyLM：通过代理模型预测多语言任务上的语言模型性能

    ProxyLM 是一种可扩展的框架，通过使用代理模型在多语言任务中预测语言模型性能，减少与模型容量和微调数据相关的计算成本，大大降低了任务评估的计算负荷，同时展示了适应预训练语言模型中以前未见过的语言，提高了性能，并通过简化模型选择实现了高效部署和迭代式语言模型增强。

    Jun, 2024

  • 再三思考：衡量消除问答模型预测快捷方式的效率

    本文提出一种简单的方法，用于评估预训练模型在特定 spurious feature 上的依赖程度并评估各种预训练模型和去偏见方法在问答 (QA) 中对大量已知和新发现偏差的鲁棒性，发现去偏见方法的 OOD 收益不能通过减少对偏见特征的依赖来解释，我们进一步通过测量 OOD 模型的性能表明其依赖于偏见特征，这表明 QA 数据集中存在共享的偏见，同时也需要进一步的工作来提高 LLM 鲁棒性的报告水平。

    May, 2023

  • 批次通用预测

    大语言模型 (LLMs) 最近因其生成类似人类的英语句子的惊人能力而受到广泛关注。为了公平地评估它们的性能，我们引入了批次遗憾的概念作为经典平均遗憾的修正，并研究了在无记忆源和一阶马尔可夫源的情况下，加常数预测器的渐近值。

    Feb, 2024

  • 语言模型如何帮助解决下游任务的数学探索

    本文通过数学研究自回归语言模型预训练在下游任务中的应用，提出了将分类任务转化为句子填充任务的假设，证实表现好的语言模型可以是有意义的预训练任务，并给出了相应的数学形式化，同时通过分析认为语言模型可以有助于线性解决分类任务。

    Oct, 2020

  • 一种新的旧问题视角：线性回归的通用学习方法

    通过通用学习的角度重新审视线性回归问题，研究了标签 y 和特征向量 x^T 的线性组合表达式及其学习可行性，证明在训练数据的相关矩阵特征向量构成的子空间上，即使参数个数 M 多于样本个数 N，线性回归也可以具有很好的推广性能。

    May, 2019

  • 超越静态模型和测试集：在任务和语言间评测预训练模型的潜力

    本文提出了一种利用语言数据和语言类型学特征来预测跨语种语言模型性能的方法，以此取代传统基于翻译的方法评估系统，该方法表现良好并且能够可靠地估计模型在不同语言上的表现。

    May, 2022

  • OmniJet-$α$: 跨任务的粒子物理学基础模型

    多数据集和多任务的基础模型能够在预先训练后为各种下游应用进行微调，本文在物理数据上取得重大突破，引入了一套评估方法，并展示了无监督问题和经典监督任务之间的成功迁移学习，这是粒子物理学基础模型构建的重要一步。

    Mar, 2024