本文提出了基于语言理解和常识推理任务的通用语境推断任务。为解决当前数据集进行注释所遇到的人为误差和注释偏见问题，使用对抗训练技术提出了 Adversarial Filtering 方法，并针对过度过滤的问题使用最先进的语言模型来大规模扩增不同的对抗情境。实验结果表明人可以高效地解决我们的任务，而其它竞争模型则表现不佳，未来仍存在大量的研究机会。

Aug, 2018

本研究提出以益智游戏为框架进行数据构建来解决自然语言理解模型面临的问题，使用这种方法构建出包含 14,343 个 yes/no 问题的 CommonsenseQA 2.0，该数据集对比现有的深度学习模型难度更大（例如 T5-based Unicorn，精度达到 70.2%，而 GPT-3 只有 52.9%），但与人类表现相差甚远（94.1%）。

Jan, 2022

本研究探讨了在维持语义和语法约束的前提下进行对抗样本攻击的可行性，通过 crowdsourcing 实验发现人类可以通过语义保持的词汇替换生成大量的对抗样本，这些人类生成的对抗样本虽然比最好的算法更加高效，但在自然性、情感及语法方面的表现并不高于最佳算法。

Sep, 2021

本论文调查了最近关于常识推理的谈话人工智能研究，列出了相关的训练数据集，并描述了在谈话人工智能中包含常识的主要方法，讨论了用于评估谈话人工智能中常识的基准，最后对两个最先进的开放对话模型 BlenderBot3 和 LaMDA 的常识能力进行了初步观察，并对自然交互产生了负面影响，进一步激发了关于常识推理在谈话人工智能中的研究。

Feb, 2023

分析了两个自然语言推理数据集的语言特征，发现机器学习模型难以理解介词和动词语义重要性，不能理解反义词和同音词，不能理解不完整的句子和罕见单词短语，因此需要在训练过程中尽可能利用更多外部知识。

Oct, 2022

本文提出了一种用于机器理解阅读测试的科学方法，引入了新颖的词法控制机制，通过注意力机制和记忆网络指导机器进行交互式阅读，并添加检查层来细化答案以提高正确性，实验证明该方法在 SQuAD 和 TriviaQA 两个常用数据集上的表现优于大多数现有的解决方案。

Oct, 2017

研究注释方法对于提高阅读理解数据集和模型的影响，发现对模型进行对抗训练后，模型对非对抗训练数据仍有较强的泛化能力。同时，模型仍然可以从比其弱的模型注释得到的数据学习。

Feb, 2020

本文利用 Transformer 模型及多种技巧，解决常识推理领域中缺乏可控性、训练时缺乏常识知识、推理出假命题等问题。通过引入 “提示” 技术控制推理，使用多个常识知识库进行联合推理，并运用 GAN 框架生成同时可信可控的常识命题。

Feb, 2023

在本文中，我们提出了一个针对更广泛的对抗性攻击类别的框架，旨在对机器生成的内容进行微小扰动以逃避检测，通过对动态场景中的对抗性学习来评估当前检测模型对这种攻击的鲁棒性的潜力提升。实证结果发现，现有的检测模型可以在仅 10 秒内受到破坏，将机器生成的文本误分类为人类撰写的内容。尽管观察到模型鲁棒性方面的一些改进，但实际应用仍面临重大挑战，这些发现为 AI 文本检测器的未来发展提供了启示，强调了对更准确和鲁棒的检测方法的需求。

Apr, 2024

通过黑盒基于人口的优化算法生成有迷惑性的语义和语法类似的对抗样本，不仅能提高情感分析和文本蕴涵模型的错误率，还能在 20 名人类注释者中得到 92.3% 的标签正确分类。进一步讨论了对抗训练作为一种防御的尝试，但未能产生改进，说明了这种对抗样本的强大和多样性。我们希望此研究能够鼓励研究人员追求提高自然语言域下深度神经网络的鲁棒性。

Apr, 2018