Oct, 2023
DeSIQ：面向社交智能理解的公正、具挑战性的基准评估
DeSIQ: Towards an Unbiased, Challenging Benchmark for Social
Intelligence Understanding
TL;DR社交智能的研究需要理解和推理有关人类表情、意图和互动的社交智能。我们提出了一种方法来研究Social Intelligence Queries（Social-IQ）的合理性，并发现Social-IQ包含了相当大的偏见。我们引入了一个新的具有挑战性的数据集DeSIQ，通过对Social-IQ进行简单扰动构建，以解决原始Social-IQ数据集中的偏见问题。此外，我们还研究了模型大小、模型样式、学习设置、常识知识和多模态对新基准性能的影响。我们的新数据集、观察和发现为社交智能研究提供了重要的研究问题。