May, 2024
上下文对称性：通过上下文世界模型进行自监督学习
In-Context Symmetries: Self-Supervised Learning through Contextual World Models
Sharut Gupta, Chenyu Wang, Yifei Wang, Tommi Jaakkola, Stefanie Jegelka
TL;DR通过关注上下文，我们提出了一种能够对不同变换具有适应性的通用表示学习算法，该算法通过学习等变性而不是不变性，使模型能够在给定少量示例作为上下文时，将所有相关特征编码为通用表示，并在等变性相关任务上展现出明显的性能提升。