ICLRFeb, 2024
社交奖励：通过千万用户的在线创意社区反馈评估和增强生成型人工智能
Social Reward: Evaluating and Enhancing Generative AI through Million-User Feedback from an Online Creative Community
Arman Isajanyan, Artur Shatveryan, David Kocharyan, Zhangyang Wang, Humphrey Shi
TL;DR社交奖励作为一种社区认可形式，是在线平台用户参与和贡献内容的强大动力。最近文本驱动的图像合成的进展开启了人工智能赋予用户创作原创视觉艺术，并寻求社区认可的协作时代。本研究在集体社区偏好的背景下评估这些模型带来了独特的挑战。现有的评估方法主要集中在用户研究上，以图像质量和提示对齐为导向。本研究首创了一种新的奖励建模框架 —— 社交奖励，利用社交网络用户对生成图像进行创作编辑的隐式反馈。通过从在线视觉创作和编辑平台 Picsart 搜集数据集，我们发现了当前度量社区创作偏好的指标的不足之处，并引入了一种专门解决这些限制的预测模型。严格的定量实验和用户研究表明，我们的社交奖励模型比现有的度量指标更符合社交受欢迎程度。此外，我们利用社交奖励来微调文本驱动的图像生成模型，得到不仅社交奖励喜欢，而且其他已有度量指标也更看好的图像。这些发现突显了社交奖励在评估人工智能生成的艺术品中社区认可的相关性和效果，与用户的创作目标 —— 创作热门视觉艺术更为接近。