contrast sets | BriefGPT - AI 论文速递

关键词contrast sets

搜索结果 - 7

ACL您的大型语言模型是否有知识，还是只是选择题作弊者？
通过从现有的 MCQA 数据集中提取对比集，我们测试了 12 个大型语言模型，发现这些模型在给予问题和选项时并不依赖仅有的选择快捷方式，因此我们认为，尽管 MCQA 容易受到高选择准确性的影响，但 LLMs 并不仅仅靠利用选择快捷方式来获得
PDF8 days ago
用于评估语言引导机器人策略的对照集
在语言引导的真实环境中，机器人评估需要耗费时间且通常只能对复杂场景中的潜在指令空间进行小规模采样。本研究提出了对机器人引入对比集的方法，通过对独立同分布（i.i.d.）的测试实例进行小、但具体的扰动。我们研究了评估工作的执行难度与估计测试性
PDF21 days ago
COLING基于语料库的对照集用于检测低资源英语种类中的形态句法特征
本文探讨了自然语言变体的研究，通过识别语言特征（例如零 be 动词结构）在语料库中的分布情况，分析这些特征在不同语境中的变化，提出了一种基于人工编辑的自动检测方法，并在印度英语和非裔美国英语方面的实验中展示了该方法的有效性。
PDF2 years ago
利用分治法策略对分类、回归和生存数据进行对比集的鲁棒挖掘
本文介绍了一种基于分而治之的算法 RuleKit-CS，可以用来发现医学、工业、经济等领域的差异，.algorithm 可以推广到回归和生存数据，进一步扩展了 RuleKit-CS 的可用性。
PDF2 years ago
ACL从场景图自动生成对比集：探究 GQA 的组合一致性
本文介绍了一种新方法，利用语义输入表示生成对比集，以减少注释成本并评估模型在各种语义方面的性能，同时还可以应用于训练集以提高模型鲁棒性。
PDF3 years ago
EMNLPLinguistically-Informed Transformations (LIT): 自动生成对比集合的方法
本文提出了一种语言学驱动的转换（LIT）方法，用于自动生成对比集，以探索感兴趣的语言现象以及组成不同现象。在对 SNLI 和 MNLI 进行实验中，使用我们的方法发现当前预训练语言模型虽然被认为包含足够的语言知识，但他们在我们自动生成的对比
PDF4 years ago
通过对比集评估模型的局部决策边界
提出了一种新的 NLP 注释范例，通过创建对照集，意在消除测试数据中的系统性差距，从而更准确地评估模型的真实语言能力。创建 10 个多样化的 NLP 数据集的对照集并将其作为新的评估基准发布。
PDF4 years ago