通过评估 611 个预训练模型的性能，我们提出了一种基于语言的相似性逼近方法，该方法比经典方法更便宜，也比基于深度神经网络的方法性能更优。此外，我们还开发了一种新型自适应标签收集流程，并提供了一个简明指南和所有数据。

Jun, 2022

使用大型语言模型结合经典的心理物理学方法，从文本中提炼出心理物理信息，然后应用多维尺度方法发现其潜在的心理空间。在六个知觉域上测试我们的方法，成功地拟合了文献中已知的心理物理结构。这项工作展示了如何将最先进的机器模型与经典的认知范式相结合，从而阐明感知和语言研究中的基本问题。

Feb, 2023

本研究旨在通过将两个英文评估集（Wordsim353 和 SimLex999）翻译成意大利语、德语和俄语，并从熟悉该语言的人群工作者那里收集每个数据集的得分，以评估向量空间模型（VSM）在预测人类在其母语下对词汇语义关系的判断方面的能力，结果发现人类的判断结果强烈受到评判语言的影响，而多语言 VSM 的组合可以部分补偿评判语言对人类判断的影响。

Aug, 2015

利用少数专家标签和解释，借助大规模语言模型 (LLM) 近似人类判断分布 (HJD), 从而提供了一种对 HJD 进行标注扩展的解决方案。然而，利用 LLM 生成的判断分布 (MJD) 进行微调时，结果存在部分不一致性，需要同时使用全局级的形状度量和可视化来更有效地评估 MJD 和 HJD 的一致性。

Jun, 2024

本文研究自然语言生成的评估方法，并通过自动化评估和人工评估的比较，发现词汇重叠是自然语言生成的较好评估指标，而人工评估与自动化评估在排名上存在较大差异，因此呼吁重新考虑自然语言生成的评估目标。

Jan, 2019

本研究提出了使用无监督风格转移和 GPT-3 的零 - shot 技术发现具有表达性和直观性的个体公平规范的新方法，以解决文本分类器中公平性问题。我们使用众包研究验证了所生成的具有人类直觉的公平排除敏感属性的语句对，并展示了有限数量的人类反馈如何帮助训练一种相似度规范来训练下游的公平感知模型。

Dec, 2022

通过一种有监督学习方法，针对特定领域（例如运动、职业），识别出一组强烈改善人类相似度判断预测的模型特征子集，并通过两种方法解释所保留特征的语义，从而揭示了人类如何根据性别包容性和国际性来区分运动类别，以及不同领域中特征对不同语义维度的预测能力。对于职业特征而言，最能预测认知、情感和社会维度，而对于水果或蔬菜特征而言，则最能预测味觉维度。讨论了对于人工智能系统与人类知识之间的对齐的意义。

Oct, 2023

研究发现，在保留本地结构的情况下对神经网络表示进行全局结构对齐可在各种少样本学习和异常检测任务中显著提高准确性。

Jun, 2023

本文提出了一种利用自然语言解释对大型语言模型进行训练的方法，通过收集一致性注释来标记数据，以及利用该方法对大型语言模型进行训练，从而提高标注数据的质量。

May, 2023

在评估自然语言生成的过程中，使用大型语言模型 (LLMs) 作为人类评判的替代方法是一种最新的趋势。然而，本研究发现其评估结果存在偏见。为解决这一问题，提出了多维度独立评估系统 (Multi-Elo Rating System)，在提高 LLM 评估质量方面取得了显著成效，但对众包评估没有明显改善，需要进一步探索和改进。

Jul, 2023