- AAAI生成语言模型中神经元信息性文本描述的探索
使用 BERT 为例，本文提出了一种新颖且可扩展的框架，将文本描述与神经元联系起来，并通过生成式语言模型发现数据特定的可解释描述符，用于解释编码这些描述符的神经元。实验证明，该方法在识别神经元方面达到了 75% 的 2 阶精度和 50% 的 - ACL基于梯度的语言模型红队测试
基于梯度的红队技术（GBRT）是一种自动生成多样的提示，很可能导致语言模型输出不安全回应的红队技术方法。通过将 LM 回应与安全分类器进行评分并通过冻结的安全分类器和 LM 进行反向传播来更新提示，我们训练了 GBRT。为了提高输入提示的连 - 小型语言模型可以自我纠正
我们介绍了在生成式语言模型中的内在自我修正（ISC）方法，旨在通过自动触发方式来纠正 LM 的初始输出，即使对于具有 60 亿参数的小型 LM。我们通过构建自我修正数据和提出部分答案屏蔽（PAM）的管道来进行实验，结果表明使用 ISC 生成 - 深入探究 AI 生成摘要的语言特点
ChatGPT 生成语言模型的研究中，自动生成的文本需要自动识别以保持信息的透明度和可信度。本研究中，我们试图检测 ChatGPT 生成的摘要，通过提取文本的语义和词汇特性，并观察到传统机器学习模型能够自信地检测这些摘要。
- AAAISocialStigmaQA: 揭示生成语言模型中的羞辱放大现象的基准测试
通过对 93 个羞辱现象的分类和构建 QA 数据集来测试社会偏见扩大化对生成性语言模型的影响，发现这些模型生成的输出在很大程度上增加了对受羞辱群体的社会偏见，并且模板设计的选择和问题提示方式都会影响生成的社会偏见输出。
- EMNLPGTA：门控毒性避免与语言模型性能保护
该研究探讨了以前方法的局限性，并介绍了一种新的解决方案：一种名为简单的门控毒性规避技术（GTA）可以应用于任何可控文本生成方法，通过与最先进的可控文本生成方法在各个数据集上进行比较，研究发现，门控毒性规避技术有效地实现了与原始可控文本生成方 - 使用 Captum 解释生成语言模型
Captum 是一个针对 PyTorch 的全面可解释性库，提供了从可解释性文献中借鉴的一系列方法，以增进用户对 PyTorch 模型的理解。本文介绍了在 Captum 中新增的针对分析生成型语言模型行为的功能，并提供了可用功能的概述以及其 - NLEBench+NorGLM：挪威语生成语言模型的全面实证分析和基准数据集
在这篇论文中，我们引入了 NLEBench，这是一个专门为评估挪威语等少资源语言的自然语言生成能力而设计的综合性基准测试，同时介绍了 NorGLMs，这是使用不同参数规模和基于 Transformer 的架构开发的基础挪威语生成语言模型。通 - GELDA：揭示数据集中的视觉偏差的生成语言标注框架
GELDA 是一个几乎自动的框架，利用大规模生成语言模型（LLMs）为一个领域提出和标记各种属性，并使用 LLMs 决定在图像中对每个属性进行分类的视觉语言模型（VLMs），结果显示 GELDA 能够生成准确和多样的视觉属性建议，并发现偏见 - PRODIGy：基于 PROFILE 的对话生成数据集
通过为对话代理提供个人资料表示，可以提高其一致性和连贯性，从而改善对话效果。本研究提出了一个统一的框架，将标准和更复杂的个人资料表示相结合，创建了一个新的资源，其中每个对话与所有可能的发言者资料表示（如交流方式、传记和个性）对齐。实验结果表 - 生成多语种成语引申语境
测试生成语言模型在理解非组合性的修辞文本中的能力，发现这些模型在生成字面意思上连续性的上下文时稍微好一些，对于成语性上下文的连续性生成能力较为相似，且在不同语言中表现出的性能一致。
- 信息熵损失对生成式语言模型学习困难的缓解
通过引入信息熵损失函数来解决文本语料中常见和难以学习的标记的不平衡性，改进了生成式语言模型在下游任务中的性能表现。
- 建模法律推理：人类共识边缘的语言模型注释
使用生成式语言模型对复杂任务进行分类的能力有限，需要进行精细调优，而对法律推理的分类则表明人工注释密集的分类方法仍然具有重要意义。
- 揭示非书面内容：基于视觉的梁搜索树研究解决语言模型提示挑战
生成式语言模型和大型语言模型的提示细化及可视化方法的研究
- EMNLPTRIGO：用于生成语言模型的形式化数学证明简化的基准测试
我们提出了 TRIGO，一个自动定理证明基准测试，要求模型能够逐步证明简化三角表达式，并评估生成型语言模型在公式推理、数字项操作、分组和因式分解方面的推理能力。我们从互联网收集三角表达式及其简化形式，并用 ``Lean'' 形式语言系统注释 - 深度学习的微调数据格式
窄位宽数据格式是降低现代深度学习应用的计算和存储成本的关键。本文评估了使用分区缩放因子和狭窄的浮点和整数类型结合的微标度（MX）数据格式。MX 格式平衡了硬件效率、模型准确度和用户摩擦之间的竞争需求。超过两打基准实验证明了 MX 数据格式作 - Kelly 是一个温暖的人，Joseph 是一个榜样》：LLM 生成的推荐信中的性别偏见
通过评估方法，本研究在四个流行的大型语言模型（ChatGPT、Alpaca、Vicuna 和 StableLM）中发现了大量 LLM 生成的推荐信中存在的性别偏见，这表明我们有必要认识到 LLM 生成的专业文档中的偏见问题的重要性和紧迫性。
- 谁是哈利・波特？在 LLMs 中的近似遗忘
我们提出了一种新的技术来从 LLM 中遗忘训练数据的子集，而无需重新训练它，该技术在 Harry Potter 相关内容的生成或召回方面具有有效的能力。这是首篇呈现生成式语言模型中遗忘有效技术的论文。
- 通过逻辑增强大型语言模型中的零射连续推理
利用逻辑链思维 (LogiCoT) 的神经符号框架，大规模语言模型提供了更强的零编码链式思维推理能力。实验证明了逻辑增强的推理范式在算术、常识、符号、因果推断和社会问题等多个领域的语言任务中的有效性。
- ChatGPT 检测：探究 ChatGPT 生成文本的现状概述
用于区分 ChatGPT 生成文本和人类生成文本的当前方法的综述，包括构建用于检测 ChatGPT 生成文本的不同数据集，采用的各种方法，对人类与 ChatGPT 生成文本特征的定性分析，并最终总结研究结果为一般性见解。