ACLFeb, 2024

AnthroScore：一种计算语言学的人性化测量方法

PDF
TL;DR利用自然语言处理技术，作者提出了 AnthroScore，一种用于测量文本中隐含人性化的自动化指标，该指标与人类对人性化的判断和社会科学文献中所描述的人性化维度相关。作者的研究表明，随着时间的推移，人性化在研究论文中逐渐增加，并且与语言模型相关的论文具有最高的人性化程度。此外，作者还发现新闻标题中的人性化水平较高，并与其引用的研究论文相比存在科学误导。AnthroScore 无需词汇表即可直接应用于各种文本来源。
anthropomorphismanthroscorelanguage modelsresearch papersscientific misinformation
发现论文，激发创造
  • 自然语言处理性能评估指标的全球分析

    本文介绍了自然语言处理领域中用于测量模型性能的度量标准，发现当前使用的大多数指标存在评估不足及解释性差等问题，导致透明性和可重复性的降低。

    Apr, 2022

  • 针对混合语言自动语音识别的基准评估指标

    研究了多语种自动语音识别中的代码切换问题，提出了基于人工判断的评价指标，并通过多种指标的比较得到了最优方法 —— 采用音译和文本规范化，同时发布了第一个阿拉伯语 / 英语对话语境中人类接受度的语料库。

    Nov, 2022

  • 计算句级度量预测人类句子理解

    创新的方法使用多语言大型语言模型计算句子级别的度量标准，预测并阐明读者在理解句子时遇到的处理困难，提供了实质性的可解释性和高准确性，为将大型语言模型和认知科学整合的未来研究提供了有希望的途径。

    Mar, 2024

  • 使用计算语言模型预测人类心理测量属性

    本研究得出结论，Transformer-based language models 可以在模拟语言理解任务中预测人类心理测量数据，这为心理测量学家节省了多轮实验测试的必要性。

    May, 2022

  • LLM 模型模拟人类心理行为的有限能力：心理测量分析

    该研究使用心理测量学的方法，对 OpenAI 的 GPT-3.5 和 GPT-4 模型进行了人格特质测试。结果发现，使用普通人物描述时，GPT-4 的回答表现出与人类相似的心理特点，而使用具体人口统计信息的情况下，两个模型的回答则表现较差，此研究对于大语言模型在模拟个体级人类行为方面提出了怀疑。

    May, 2024

  • 结构化、灵活、鲁棒：针对超出分布推理任务对大型语言模型进行基准测试和改进，以实现更类似于人类的行为

    人类语言在思维和学习结构方面发挥重要作用。本文提出了一个挑战测评与深度学习语言模型相比人类表现的基准，并通过提供结构化符号推理模块来拓展深度学习语言模型，以使其更符合人类推理。实验表明，在语言表达能力、泛化能力等方面，人类远远优于 LLMs，这说明混合 AI 模型具有更接近人类推理的潜力。

    May, 2022

  • 关于大型语言模型（LLM）的脑科学评分形状研究

    利用大型语言模型（LLMs）和人脑 / 神经系统之间的功能相似性评估指标 “Brainscore”，通过构建人类 fMRI 数据和多个 LLMs 及其未训练对象的拓扑特征，进行了线性回归模型训练和统计分析，揭示了在多个感兴趣脑区和半球中解释现有 brainscores 的独特特征组合，对推进可解释的机器学习（iML）研究具有重要意义。这项研究是首次尝试在这个跨学科领域理解这一创新指标 brainscore 的努力。

    May, 2024

  • TrustScore: 无需参考的 LLM 响应可信度评估

    本研究提出了基于行为一致性概念的 TrustScore 框架，用于评估大型语言模型（LLMs）的响应与其内在知识的一致性，同时能够与事实核实方法无缝集成，实现与人类判断强相关性的结果。

    Feb, 2024

  • 人类和 LLM 生成文本中的对比语言模式

    定量分析比较人类写作的英文新闻与基于 4 个 LLMa 家族的大型语言模型 (LLM) 输出的差异，结果显示了人类文本与 AI 生成文本在多个可测量的语言维度上的差异，包括形态、句法、心理测量和社会语言方面，并揭示了 LLM 生成文本中存在更多的数字、符号和助动词，以及更多的代词，人类文本中存在的性别偏见也被 LLMs 表达出来。

    Aug, 2023

  • 用大型语言模型的组合分数测量人脑中的含义组合

    通过大量的神经语言学研究，我们引入了一个新的基于模型的度量标准，即组合度分数，用于量化句子理解过程中的意义组合程度。实验结果表明，这个度量标准与与词频、结构处理和对词语的一般敏感性相关联，提示了人类句子理解过程中意义组合的多方面性。

    Mar, 2024