Mar, 2023
机器学习模型是否具备常识学习能力？
Do Machine Learning Models Learn Common Sense?
Aaditya Naik, Yinjun Wu, Mayur Naik, Eric Wong
TL;DR本文提出了一种框架，用于从模型的训练数据中推导出共识规则，进而量化模型学习共识的程度。通过使用基于逻辑的方法和统计推断，可以无需监督学习的方式推导出分布在数据中的共识规则，并通过测试时间适应来减少共识规则违例和产生更加连贯的预测结果。在三个不同领域的数据集和模型上进行评估，该框架生成了约 250 至 300k 条规则，并揭示了针对各自数据集的最先进模型中 1.5k 至 26k 个规则违例。测试时间适应可以将这些违例减少多达 38%，而不影响整体模型准确性。