Aug, 2024

大型语言模型的测试与评估：正确性、非毒性与公平性

HTML
PDF
TL;DR本研究解决了大型语言模型（LLMs）在正确性、非毒性和公平性方面的可靠性问题。通过引入FactChecker和LogicAsker两种测试框架，评估LLMs的事实知识和逻辑推理准确性，同时采用BiasAsker和XCulturalBench框架测量社会偏见和文化偏见。研究的最终发现表明，增强LLMs的准确性和公平性对于其在广泛应用中的安全性和有效性至关重要。
发现论文，激发创造
  • 探索ChatGPT的人工智能伦理：一项诊断分析

    通过对 OpenAI 的 ChatGPT 进行定性研究，发现大规模语言模型的伦理风险主要包括偏见性和毒性，当前的基准测试无法解决这些问题，为了避免语言模型应用中出现伦理风险，需要制定可靠的基准测试和实施设计。

    Jan, 2023

  • ChatGPT在基准数据集上的系统研究和综合评估

    本文通过评估ChatGPT在各种自然语言处理任务中的表现，旨在验证其优缺点，并为未来的LLM研究提供思路。作者发现ChatGPT能够完成多种任务，取得很好的表现，但仍有许多难题需要解决。

    May, 2023

  • 对大型语言模型评估的调查

    大语言模型（LLMs）的评估方法是研究这些模型的重要组成部分，这篇综述介绍了评估LLMs的方法和维度，并总结了LLMs在不同任务中的成功案例、失败案例和未来挑战。

    Jul, 2023

  • 大型语言模型公平性调研

    大语言模型带来了强大的性能和发展前景，并广泛应用于现实世界。然而，这些模型可能从未经处理的训练数据中捕捉到社会偏见，并将其传播到下游任务。本文全面回顾了关于大语言模型中的公平性的相关研究，介绍了中等规模的模型和大规模的模型分别从内在偏见和外在偏见的角度引入了评估指标和去偏方法，并讨论了公平性发展中的挑战和未来方向。

    Aug, 2023

  • 大型语言模型中的偏见和公平性研究综述

    大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

    Sep, 2023

  • 评估大型语言模型：综述

    该研究综述了大型语言模型的评估方法，并提出了知识与能力评估、对齐评估和安全评估三个主要方面的评估方法，以及涵盖能力、对齐、安全和适用性的综合评估平台的构建。希望该综述能够推动对大型语言模型评估的更多研究兴趣，以促进负责任发展和最大化社会利益，同时最小化潜在风险。

    Oct, 2023

  • 地球是平的吗？揭示大型语言模型中的事实错误

    我们引入了一种名为FactChecker的新型自动化测试框架，通过构建事实知识图谱、生成包括不同类型问题和正确答案的测试用例，以及使用匹配策略评估大型语言模型的响应准确性，从而揭示了大型语言模型中的事实错误，并展示了测试用例对提高模型的事实准确性的有效性。

    Jan, 2024

  • Chatbot Arena: 通过人类偏好评估LLM的开放平台

    Chatbot Arena是一种基于人类偏好评估大型语言模型的开放平台，通过对接受众来源的成对比较和众包输入的方式收集数据，并使用经过验证的统计方法进行评估和排名，以确保其可靠性和可信度，成为最有价值和最引用的大型语言模型排行榜之一。

    Mar, 2024

  • 大型语言模型中的人为因素对错误检测的影响：系统文献综述与未来研究方向

    研究对LLM技术中的错误进行风险减轻，并分析和综合研究的结果及未来研究方向。

    Mar, 2024

  • 在大型语言模型推理中平衡理性偏差和认知偏见：并非所有偏见均不好

    通过研究大型语言模型（LLMs）的决策过程中的偏见，本研究揭示了不同偏见在决策过程中的微妙作用，并发现合适的平衡可以提高模型性能、改善决策准确性。我们引入了启发式调节和弃权选项的概念，并通过我们的研究结果表明，恰当缩放的偏见检查能够使LLMs的决策更符合人类的推理，提高其可靠性和值得信赖性，从而为未来的改进提供了新的策略。

    Jun, 2024