提供了将对称性引入机器学习模型的一种统一的理论和方法框架，包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。
Nov, 2023
对于建模原子尺度物质性质的模型，以对称性作为归纳偏差普遍被采用。然而，非对称模型也能从数据中学习对称性，并对模型准确性有益。本研究测试了一个仅近似满足旋转不变性的模型在模拟气相、液态和固态水的实际场景中的性能，发现其在插值、大体积情况下几乎无影响。即使在外推气相预测中，该模型仍然非常稳定，尽管有对称性伪迹存在。我们还讨论了系统减小对称性破缺程度的策略，并评估其对观测量收敛性的影响。
Jun, 2024
本文提出通过使用循环神经网络语言模型和动态对称模式来有效查询以替代目标单词的概率，从而诱导出它们的词义， 进而得到用于 Word Sense Induction 的强大替代向量，从而大幅度超越 SemEval 2013 WSI 共享任务的当前最先进技术。
Aug, 2018
该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。
Jan, 2022
本文研究视觉 - 语言建模，通过创建新的多模态任务和分析预训练数据的质量，发现预训练数据的质量和多模态预训练目标对模型的性能影响重要。
Oct, 2022
本文提出了一种新的语法任务集，专注于矛盾检测，并评估了递归模型和 BERT 网络。虽然 BERT 在大多数逻辑形式上具有更好的泛化效果，但在处理计数算子时仍有待改进，同时表明该语法任务可以在不同的语言中实现并实现跨语言传递学习。
May, 2019
本研究介绍一种基于预训练语言模型的对称连续提示增强方法（SPE），该方法可以提高预训练语言模型在常用事实性任务探测数据集（LAMA）上的探测精度。
Nov, 2022
分析了两个自然语言推理数据集的语言特征，发现机器学习模型难以理解介词和动词语义重要性，不能理解反义词和同音词，不能理解不完整的句子和罕见单词短语，因此需要在训练过程中尽可能利用更多外部知识。
利用因果效应估计策略衡量上下文干预和插入词对于推理标签的影响，通过广泛的干预研究验证模型对不相关变化的稳健性和对有影响变化的敏感性。
Apr, 2024
研究使用神经模型捕捉词汇句法推理的能力。我们以事件事实预测任务为案例研究对象，并建立一个各种句法上下文中所有英语嵌入子句动词的事实判断数据集。我们使用这个数据集来探究当前最先进的神经系统的行为，揭示了这些系统在事实预测方面会出现某些系统性错误。