Oct, 2022
Equi-Tuning: 预训练模型的群等变微调
Equi-Tuning: Group Equivariant Fine-Tuning of Pretrained Models
Sourya Basu, Prasanna Sattigeri, Karthikeyan Natesan Ramamurthy, Vijil Chenthamarakshan, Kush R. Varshney...
TL;DR本文介绍了 equi-tuning，一种新颖的微调方法，将（潜在非等变的）预训练模型转换为群等变模型，并在预训练和等变模型的特征表示之间产生最小的 L2 损失。我们提出了 equi-tuning 的应用，如图像分类、语言的组成泛化以及自然语言生成的公平性，并为 NLG 中的公平性提供了一种新的群论定义，这种定义的有效性通过测试它与标准实证方法的 NLG 中的公平性相比得到证明。