Mar, 2024

自动评估的正确方法：使用合成数据进行模型评估

PDF
TL;DR使用人工标注的验证数据评估机器学习模型是昂贵且耗时的，可以使用 AI 标记的合成数据进行自动评估以减少所需的人工标注数量。我们建议了一种高效且统计原则的算法，提高样本效率同时保持无偏性。这些算法在使用 GPT-4 进行实验时将有效人工标注样本的数量增加了 50%。
evaluationmachine learning modelshuman-labeled validation dataautoevaluationsample efficiency
发现论文，激发创造
  • 评估大型语言模型生成的合成数据的多方面评价框架

    通过引入 SynEval 评估框架，对生成的合成表格数据进行质量、实用性和隐私保护方面的综合评估，以帮助研究人员和从业者在使用合成数据时有效地确定其适用性，并强调用户隐私的重要性。

    Apr, 2024

  • 合成数据作为验证

    利用合成数据作为验证集，从而减少过拟合，简化 AI 模型选择，本研究展示了合成数据在早期肿瘤检测方面的有效性，以及在不同领域中用于增强 AI 的鲁棒性的潜力。

    Oct, 2023

  • 分类器准确性评估是否总是需要标签？

    本文讨论了在存在未标记测试数据时自动模型评估的问题，并提出了一种利用采样数据和回归模型估计模型精度的方法，称之为 AutoEval。

    Jul, 2020

  • AutoSimulate:（快速）学习合成数据生成

    通过一种新的可微分逼近目标的方法，提出了一种有效的用于生成最优合成数据的替代方法，该方法可通过优化非可微模拟器，在每个迭代中仅需一个目标评估带有小的开销，在真实测试数据集上可以以较少的训练数据生成更快的理想数据分布（高达 50 倍）并具有更高的准确率（+ 8.7％），比以前的方法更好地解决了模拟机器学习算法中大型标记数据集的生成问题。

    Aug, 2020

  • 人还是机器？自动化自然语言生成文本人类相似性评估

    本文提出了一种基于大型预训练语言模型和概率分布的区分程序来自动评估自然语言生成方法产生的文本样本的人类相似度分数，与人类判断的自动评估进行了验证。

    Jun, 2020

  • 利用合成人类进行训练学习

    本研究探索了使用全合成或合成增强真实数据的两种方法来解决多人二维姿势估计的问题，并研究了哪种方法更好地推广到真实数据，以及虚拟人物在训练损失中的影响。通过使用增强数据集，且不考虑训练损失中的合成数据，可以得到最佳结果。该研究还使用对抗性师生框架，发现不是所有的合成样本对训练都有同样的信息量，且信息量会随着训练阶段的不同而发生变化。

    Aug, 2019

  • 自带数据！面向大语言模型的自监督评估

    提出了一种自监督评估框架，用于分析大型语言模型的敏感性或不变性，以测量其中的知识、毒性、远程上下文依赖性等特征，以及语法结构和令牌化错误，这一自监督评估可直接监视大量的真实数据，以帮助评估大型语言模型的行为表现。

    Jun, 2023

  • 差模型的好数据：基于阈值的自动标注的基础

    本文分析了基于阈值的自动标注系统，推导了保证机器标注数据质量所需的人工标注验证数据量的样本复杂度上限，并通过模拟和实际数据集研究了基于阈值的自动标注在真实数据上的有效性和使用限制。

    Nov, 2022

  • 机器翻译人类评估的有效性改进探讨

    本研究探讨了一种简单的降低标注成本的方法，即采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，从而在固定标注预算下获得更高的准确性。在测试集上，相比于纯随机抽样，平均误差降低了高达 20%。该技术易于实现且适用于类似结构的问题。

    Apr, 2022

  • 通过使用模拟数据来减少数据采集和标记以进行缺陷检测

    使用合成数据与未标注的真实数据进行训练可在较低成本下实现与标注真实数据相媲美甚至更好的缺陷检测结果。

    Jun, 2024