- EMNLP信息扩散：对非自回归文本生成的信息熵感知扩散过程
通过引入 “关键信息优先” 生成策略和基于文本信息量的噪声调度，结合自我条件限制和部分加噪模型结构，InfoDiffusion 在生成质量、多样性和采样效率等方面优于基准模型。
- ACL基于解码器为基础的语言模型的文本生成自动评估方法探索
基于大型编码器和解码器语言模型的自动评估方法在文本生成任务中表现比调整后的编码器模型差，研究还发现解码器模型关注于表面字词序列而忽略了意义，同时发现调整后的解码器模型难以识别细粒度语义差异。
- EMNLP生成可控的摘要生成器
通过生成技术在指定的易读性级别上生成摘要的研究
- 奖励增强解码：高效受控文本生成的单向奖励模型
使用奖励增强解码（RAD）的文本生成过程，通过小型单向奖励模型来鼓励语言模型生成具有特定属性的文本，通过实验证明 RAD 在生成非有毒和情绪受控文本方面表现最佳，并且在减少计算开销方面与最先进的方法相媲美。
- 大型语言模型尚未能够自校正推理
本文探讨了自我纠错在大型语言模型中的作用和效果，发现大型语言模型在没有外部反馈的情况下难以自我纠正其回应，在某些情况下，性能甚至可能在自我纠正后下降。基于这些发现，提出了未来研究和实际应用的建议。
- 利用图神经网络控制意义到文本生成中的主题 - 焦点表达
用图神经模型实现主题 - 焦点表达的三种不同方法进行文本生成任务，我们提出了一种新的编码策略，通过使用深度优先搜索而不是传统的邻接节点信息聚合策略，导致在主动 - 被动转换的任务上相比传统的邻接节点信息聚合策略有显著的性能改进。
- 解决神经文本退化的疑难案例
通过理论证明截断采样方法能保证所有抽样的 Token 具有非零真实概率，同时基于模型中的 softmax 限制证明某些 Token 具有非零真实概率，我们开发了一种实验性的截断策略，并通过试验展示了其在低熵开放式文本生成中优于传统基于阈值的 - 改善基于图像的歌单描述与音乐主题中的情感表达和连贯性：一种连续参数化方法
图像平台中的文本生成，特别是与音乐相关的内容，需要对文本样式进行精确控制，同时融入情感表达。但是，现有方法通常需要外部因素在生成的文本中的比例的帮助，并且依赖于离散的输入，缺乏对所需文本生成进行连续控制的条件。本研究提出了一种用于受控文本生 - 关于基于训练的 ChatGPT 检测方法的泛化性
ChatGPT 是最流行的语言模型之一，在各种自然语言任务上表现出色。本研究的目的是全面调查这些方法在分布偏移下的泛化行为，包括提示、文本长度、主题和语言任务，从而为 ChatGPT 检测的未来方法或数据收集策略的开发提供指导。
- TIGERScore：建立可解释的度量标准 用于所有文本生成任务
通过自然语言指示引导的训练度量 TIGERScore 对广泛的文本生成任务进行解释性和无参考评估，该度量基于经过精心策划的指示调优数据集 MetricInstruct 进行 LLaMA 训练，覆盖 6 个文本生成任务和 23 个文本生成数据 - 理解来自重复的上下文学习
这篇论文通过检验表面重复现象的视角，定量地研究了文本生成中的表面特征对上下文学习的作用，并实证了一种被称为 “令牌共现强化” 的原则，强调了两个令牌在上下文共现下的关系。通过研究这些特征的双重影响，我们的研究揭示了上下文学习的内部机制和其失 - 基于循环评估的配对知识图谱 - 文本数据集构建
使用知识图谱和文本配对的数据集可以训练生成文本和生成知识图谱的前向和反向神经模型，但在配对不等效的数据集上训练的模型可能会导致更多的错误生成和较差的回想。本文通过生成具有不同噪声水平的数据集并进行实证验证了这一点，并通过循环评估发现人工创建 - 无监督文本生成的搜索与学习
深度学习，文本生成，无监督学习，搜索与学习方法，机器学习模型
- 对比解码提升大型语言模型的推理能力
利用对比解码方法生成的文本展现在各种推理任务中相比贪婪解码有着显著的提升，并在 HellaSwag 常识推理基准测试中胜过 LLaMA 2、GPT-3.5 和 PaLM 2-L，在 GSM8K 数学词语推理基准测试中超过 LLaMA 2、G - 自回归下一个单词预测器是通用学习者
大型语言模型在逻辑和数学推理方面显示出令人瞩目的能力，使它们能够解决复杂的任务。本文提出了一个理论框架来研究自回归的下一个标记预测器。我们证明，即使是简单的模型，如线性的下一个标记预测器在 Chain-of-Thought（CoT）数据上训 - EMNLP文本编码器缺乏知识：利用生成型语言模型为特定领域的语义文本相似性提供支持
语义文本相似度问题可以作为生成文本问题来解决，生成型的大型语言模型在特定领域的语义相似度任务中表现优于基于编码器的模型，并且在需要世界知识的 STS 任务上，新收集的数据验证了这个结论。
- 生成社会选择
社会选择理论在传统上只适用于在少数预定的选择中进行选择，而不适用于更复杂的决策，如集体选择一项文本陈述。我们引入生成式社会选择，这是一个将社会选择理论的数学严谨性与大型语言模型生成文本和推断偏好的能力相结合的框架。这个框架将增强人工智能民主 - 通过动态知识选择优化文本生成的事实准确性
DKGen 将文本生成过程划分为迭代过程，通过动态选择相关性高的参考段落，消除与先前生成的文本和查询无关的引用，从而增强了它正确使用外部知识的能力。实验结果表明，DKGen 优于所有基准模型。
- 知识图谱是否能简化文本？
我们提出了 KGSimple，这是一种新颖的无监督文本简化方法，通过利用已建立的知识图谱技术构建简化的知识图谱路径，并生成保留原始输入意义的简洁文本。我们的模型通过迭代和抽样建立的知识图谱方法有能力从知识图谱起始进行文本简化，同时利用 KG - 从带有噪声参考文本的知识图生成忠实的文本
利用知识图谱生成自然语言文本的研究，通过结合对比学习和可控文本生成技术的方法，提出一种能够从给定的图谱中生成忠实的自然语言文本的模型，并在准确性方面超越了现有的基于知识图谱生成文本的模型。