- 大型语言模型在价值问题上是否具有一致性？
大型语言模型似乎会在调查回答中表现出某种偏见，但有些人认为它们不够一致，无法模拟特定的价值观。为了回答这个问题，我们首先将价值一致性定义为（1）同一个问题的释义，（2）同一个主题下的相关问题，（3）单个问题的多项选择和开放性用例，以及（4） - 一对多：理解来自多个错误和不一致的人工智能生成模型的准确信息
通过研究测试人员对于多个、潜在不一致的模型生成输出的理解，我们发现不一致降低了被测试人员对 AI 的感知能力，同时也提高了对给定信息的理解。因此，我们提出了设计建议，将不一致性透明地呈现出来，以指示这些模型的局限性，并促进批判性的语言模型使 - DAGnosis: 使用结构局部识别数据不一致
使用有向无环图 (DAGs) 编码训练集的特征概率分布和独立性的方法 (DAGnosis) 能识别和处理数据在部署时的不一致性问题，并解决了数据中心方法在特征具有统计独立性的情况下的子优化问题，同时定位了为何样本会因不一致性而被标记的原因， - 混合参与式系统中的价值偏好估计和消歧
通过与参与者互动并利用参与者的动机值来估计其价值偏好，解决参与者选择和动机之间的不一致性，并通过直接与参与者互动的消歧策略改善个体价值偏好的估计。
- AuditLLM: 使用多探针方法审计大型语言模型的工具
通过批量分析来自一个问题的多个探针生成的回答，AuditLLM 能够测试给定的 LLM 以评估其性能，并得出对 LLM 的一致性的易于解释的结果。它可通过实时查询分析响应进行即时审核，也可通过处理多个查询进行综合分析，旨在提供一个标准化的审 - 使用人类参与的方法开展大型语言模型审计的框架开发
我们提出了一种自动且可扩展的解决方案来对 LLM 进行审核，其中使用了不同的 LLM 以及人类参与。通过人类参与，我们可以验证回复的标准化评估准则以及生成所需的审核方法。在 TruthfulQA 数据集上的实验证明了我们可以从一个 LLM - 机器学习模型的多样化解释：基于数据驱动和领域驱动视角
我们的目标是通过从一组同样好的模型中找到符合物理定律并满足利益相关者需求的预期解释的准确模型，进而促进解释能力强的人工智能（XAI）融入科学领域。
- 基于变异的一致性测试用于评估 LLMs 的代码理解能力
我们提出了一种评估 Large Language Models（LLMs）代码理解性能的新方法，通过引入代码变异来检测 LLMs 对代码和自然语言描述之间微妙差异的能力，并在各种代码变异和编程语言上对两个常见的 LLMs 进行了案例研究，发 - DCR - 一致性：大规模语言模型的划分 - 征服 - 推理的一致性评估和改进
提出了 DCR（一种自动化评估框架）以评估和改善大型语言模型生成的文本一致性，通过使用分而治之的方法，将段落到段落之间的比对转化为句子到段落的比对，并引入了自动度量转换器以翻译结果为可解释的数值分数。该方法在评估一致性方面表现出色，还能显著 - 基于何种依据？通过结构化的比较推理预测文本偏好
SC 通过生成结构化的中间比较来预测文本偏好，选择一致性比较并显著减少虚构和提高一致性，使 LLMs 在文本偏好预测中实现了最先进的性能。
- 测试二元分类问题的性能得分的一致性
在本文中，我们引入了一种数值技术来评估报告的性能分数和假设的实验设置的一致性，通过三个与医学相关的应用程序，我们展示了这种方法如何有效地检测不一致性，从而保护研究领域的完整性。
- ACL自然语言解释中矛盾的对抗检测与缓解技术
本文应用外部知识库改进了现有的对自然语言解释中不一致性进行检测和缓解的方法，并通过将模型与外部背景知识相结合来减少先前高性能 NLE 模型存在的不一致性。
- LM vs LM: 通过交叉审查检测事实性错误
本文提出了一种基于交叉验证的自然语言模型事实评估框架，通过多轮交互和另一个模型的提问来发现不一致性，实验证明该方法在捕捉事实错误方面优于现有方法和基线。
- 基于置换检验实现因果图的虚假性
通过对结点进行排列组合，我们提出了一种新的一致性度量方法，从而评估有向无环图（DAG）的好坏，该方法可以帮助实践者判断 DAG 是否比随机分配更合适。我们在仿真数据和各种领域的实际数据集上进行评估，并表明该方法可以排除错误 DAG。
- 基于连接查询和约束求解的特征模型配置
本文介绍了如何利用关系数据库系统支持的合取查询方法，解决约束满足问题和特征模型配置任务，从而将数据库技术应用于解决配置任务，并在识别和解决不一致性方面提供了新的算法方法。
- 掩码语言模型所学习条件句的不一致性
此篇研究发现遮蔽语言模型中双向条件的不一致性，尤其在 T5 和 BERT 模型的二元模型中表现得十分显著。这些不一致性可能影响基于 BERT 模式的 MLMs 的序列采样研究，同时也意味着具有相似功能的 T5 式 MLMs 会基于不同遮蔽数 - 使用 BERT 和 Longformer 检测代码注释不一致性
利用 BERT 和 Longformer 模型检测自然语言告知语境下源代码评论中的不一致性，经过实验验证成功超越多种基线算法并获得与排除语言和词汇特征的最新模型相当的效果，同时探讨使用预训练语言模型检测不一致性和自动更新评论的未来研究方向。
- CVPR正一致性训练：朝着无回归模型更新的方向
本文提出了一种名为 Focal Distillation 的方法，该方法利用 PC 训练减少了负的预测错误，并最大化地维护了与参考模型的一致性。
- AAAI源代码和注释之间的深度即时不一致性检测
本论文使用深度学习方法学习评论与代码更改之间的相关性，以检测注释在代码更改后是否变得不一致，同时展示了我们的模型在检测和解决由于代码更改导致的不一致注释方面的能力。
- MM使用答案集规划检测大型生物网络的不一致性
使用 ASP 在大型生物网络中检测不一致性，基于高通量细胞活动的生化 / 遗传反应的一致性，检查大规模数据集的一致性并确定冲突的最小表示，可用于识别不可靠数据或指示缺失反应。