Apr, 2024

评估大型语言模型生成的合成数据的多方面评价框架

PDF
TL;DR通过引入 SynEval 评估框架，对生成的合成表格数据进行质量、实用性和隐私保护方面的综合评估，以帮助研究人员和从业者在使用合成数据时有效地确定其适用性，并强调用户隐私的重要性。
generative ailarge language modelssynthetic dataevaluation frameworkprivacy preservation
发现论文，激发创造
  • SynthEval：一个用于详细评估表格化合数据的效用和隐私的框架

    合成数据评估框架 SynthEval 旨在解决机器学习中的数据稀缺性、数据公平性和数据隐私性问题，并通过统计和机器学习技术全面评估数据的准确性和隐私保护完整性。

    Apr, 2024

  • 针对对话推荐系统的合成数据集评估

    本研究提出对生成模型产生的数据集进行多方面评估的框架，探讨了各种评估方法的优缺点

    Dec, 2022

  • 合成数据生成模型的评估框架

    通过提出一个新的评估框架，本研究旨在评估合成数据生成模型的能力以生成高质量的数据，利用统计和理论信息来比较模型的排名，并展示了该框架在两个应用场景下的实用性。

    Apr, 2024

  • 结构化合成表格数据的评估

    通过提出一个带有单一、数学目标的评估框架，该论文意在解决合成表格数据质量评估的问题，允许通过结构化的方式推断度量的完整性，并统一从忠实性、下游应用和基于模型的方法等多个角度出发的度量，展示了显式表达结构的合成数据生成器在小型数据集上的卓越表现。

    Mar, 2024

  • 隐私保护的可扩展性：学习分析中全面综合的合成表格数据生成与评估

    我们提出了一种综合评估合成数据的方法，该方法包括合成数据质量的三个维度：相似性、实用性和隐私性。通过将这种评估应用于三个不同的学习分析数据集以及三种不同的合成数据生成方法，我们的结果表明合成数据可以在保护隐私的同时保持与真实数据相似的实用性。此外，针对不同学习分析场景中不同的隐私和数据实用性需求，我们提出了定制的合成数据生成建议。该论文不仅提供了合成数据的综合评估，还说明了在学习分析领域中缓解隐私问题的潜力，从而促进了合成数据在学习分析中的更广泛应用，推动了开放科学的良好实践。

    Jan, 2024

  • 朝向基于原则的表格数据合成算法评估

    利用扩散模型和大型语言模型的新型综合器进行对比评估，提出了一套评估指标，旨在解决现有评估指标的局限性，并为调优提供了普遍目标，以保护数据隐私和提高合成数据的质量。

    Feb, 2024

  • 关于基于 LLMs 驱动的合成数据生成、整理和评估的调查

    这篇论文旨在通过提出一种基于合成数据生成的通用工作流程的组织方式，突出现有研究中的差距，并概述未来研究的前景，以引导学术和工业界更深入、更系统地探索基于大型语言模型驱动的合成数据生成的能力和应用。

    Jun, 2024

  • 推动零售数据科学：合成数据的综合评估

    本文介绍了一种综合性框架，用于评估合成零售数据，注重保真度、实用性和隐私性。通过稳定性和普适性来衡量保真度，证明了合成数据在需求预测和动态定价等关键零售任务中的有效性，通过差分隐私确保数据具有出色的相似性和安全性，验证了该框架对于合成零售数据的可靠且可扩展的评估，是推进零售数据科学的重要工具。

    Jun, 2024

  • S3Eval：一套针对大型语言模型的综合、可扩展、系统评估套件

    使用合成任务来评估大型语言模型（LLMs）的研究方法 S3Eval，在 S3Eval 与真实世界基准测试之间存在强相关性，同时揭示了模型性能的一些深度分析和反直觉趋势。

    Oct, 2023

  • 我能相信我的伪造数据吗 -- 用于医疗领域合成表格数据的全面质量评估框架

    通过综合文献回顾和团队经验，我们提出了一个概念性框架，以保证合成数据在医疗人工智能应用中的质量，并扩展了普遍质量维度，包括公平性和碳足迹，并提出了支持实际应用所必需的阶段，通过增加透明度和减少安全风险来增强对合成数据的信任，以加速可信任的医疗人工智能工具的发展和推广，促进患者受益。

    Jan, 2024