利用大型语言模型将嵌入向量转化为可理解的叙述，解决了嵌入向量难于解释和使用的问题，增强了概念激活向量、通信新的嵌入实体和解码推荐系统用户偏好等任务的能力。

Oct, 2023

该研究探讨了大型语言模型（LLMs）对中国劳动力市场的潜在影响，通过人工专业知识和 LLM 分类的分析，我们研究了 LLM 能力对职业暴露的影响。结果显示职业暴露与工资水平 / 经验溢价呈正相关，暗示高薪和经验密集型工作可能面临更大的被 LLM 软件取代的风险。该研究在理解中国日益强大的 AI 系统对劳动力市场的影响方面提供了分析基础，创新之处在于职业层面的暴露分析、行业聚合方法以及纳入 AI 采用和劳动力市场效应的经济模型。该研究结果将为决策者和企业提供关于最大化 AI 效益和减轻负面影响风险的策略建议。

Aug, 2023

使用 Llama-2 模型，我们通过分析三个空间数据集（全球、美国、纽约地点）和三个时间数据集（历史人物、艺术品、新闻标题）中学到的表示来找到 LLMs 学习的证据，发现 LLMs 在多个尺度上学习了空间和时间的线性表示，表征对提示的变化具有鲁棒性，并且跨不同实体类型（例如城市和地标）统一。此外，我们还确定了可靠地编码空间和时间坐标的个别 “空间神经元” 和 “时间神经元”。我们的分析证明了现代 LLMs 获取了关于空间和时间等基本维度的结构化知识，支持它们不仅仅学习了表面统计数据，而是字面上的世界模型。

Oct, 2023

使用大型语言模型和迁移学习技术，本研究提出一种替代 CAREER 基础模型微调的方法，对下一个工作预测任务进行训练并展示了其在代表性调查数据上的预测性能优于传统计量模型、CAREER 和具有情境学习的大型语言模型。

Jun, 2024

通过构建语言任务空间，借助相似性探测与梯度差分的微调方法，研究发现大型语言模型更好地泛化到语言任务的总体概念，利用其共享结构。此外，预训练通过加强相关语言任务之间的参数共享来增加语言处理的分布性。整体泛化模式在训练过程中基本稳定且没有明显分界点，这可能解释了语言模型缺乏成功的课程策略的原因。

Jun, 2024

概念空间理论是一种有影响力的认知语言框架，用于表示概念的意义。通过挖掘大型语言模型（LLM）学习概念空间的潜力，研究发现 BERT 家族的精细调整模型能与甚至胜过最大的 GPT-3 模型，尽管体积要小 2 到 3 个数量级。

Oct, 2023

本研究发现，通过预训练语言模型（LMs）建立的表征空间，不仅编码了单词及其关系等抽象语义概念，也能够识别如复杂性、正式程度和象征性等字词风格，以及使用在小数量文本中产生的矢量表征。此外，本文还对这些表征空间的词级与短语级特征进行了分析，并表明无论静态嵌入还是上下文化 LMs，都可以在对不同长度的文本进行字符化时得到更高的准确度。

May, 2023

本文提出了一种将任何嵌入空间转换成易理解的概念空间的方法，并展示了该方法在语义表示方面的实用价值，如发现潜藏的偏见和比较不同模型间语义的差异。

Aug, 2022

使用语义网技术提升数据空间的可用性，但复杂性对数据空间的采用和成本产生重大挑战，大型语言模型的出现引发了如何支持公平的数据空间采用的问题，本研究通过一个具体示例展示了大型语言模型在数据空间中的潜力，并推导出一个探索这一新兴领域的研究议程。

Mar, 2024

LLM4Jobs 是一种利用大型语言模型（LLMs）进行职位编码的新型无监督方法，通过在合成和实际数据集上进行严谨实验证明，LLM4Jobs 始终超过无监督最先进的基准，展示了其在不同数据集和细粒度上的多功能性。

Sep, 2023