Dec, 2023
GPT中的跟踪和编辑关联性关系
Trace and Edit Relation Associations in GPT
TL;DR该研究介绍了一种新的方法，用于分析和修改GPT模型中的实体关系，通过与ROME的以实体为中心的方法不同，我们开发了一种关系追踪技术来了解语言模型计算对关系判断的影响。使用FewRel数据集，我们识别了MLP模块和注意机制在处理关系信息方面的关键作用。我们的方法在新数据集上与ROME进行了测试，显示出了在特定性和泛化性方面改善的平衡，突显了操纵早期层模块以增强模型理解和准确性的潜力。