- 量化大型语言模型中的政治偏见:言论内容及言辞方式调查
我们提出通过分析 LLMs 生成内容中关于政治问题的内容和风格来衡量政治偏见。我们的提议旨在提供 LLMs 生成的政治偏见的细致和可解释的度量方法,以向用户提供透明度。我们的研究关注不同的政治问题,如生殖权和气候变化,并从内容和风格两个方面 - ACL超越自动化评估指标:在实践中评估主题模型在社会科学内容分析任务上的能力
通过对话题模型进行评估,发现神经网络模型(NTMs)在实际任务中的效果优于传统模型,且自动评估指标无法提供全面的话题建模能力。
- LLM 在一些解释性任务中实现与人类表现相匹配的问题链条推理的可扩展性定性编码
定性编码,或内容分析,从文本中提取含义,以识别文本语料库中的定量模式。最近,大型语言模型(LLM)在解释能力方面的进展为自动编码过程(对文本应用类别标签)提供了可能性,从而使人类研究人员能够集中精力进行更有创意的研究,而将这些解释性任务委托 - 利用监督对比预训练转换器解析社交媒体中的写作风格
在线社交网络是有害行为的肥沃土壤,从仇恨言论到虚假信息的传播。我们提出了一种基于作者风格的转换模型 STAR,通过关联内容与其各自的作者来理解有害行为。我们的模型在与 PAN 挑战中的归因和聚类任务上表现出有竞争力的性能,并且在 PAN 验 - LLM 辅助内容分析:使用大型语言模型支持演绎编码
本研究探讨了利用大型语言模型的方法来减少演绎编码所需的时间,同时保留传统内容分析的灵活性。研究发现,在某些情况下,使用 GPT-3.5 可以达到与人类编码者同等程度的一致性水平。
- 翻译困境:大型语言模型在非英语内容分析中的应用
本文介绍了多语种语言模型的工作原理及其在语言分析和生成方面的能力和局限性,并提供了关于开展大型和多语种语言模型研究、开发和部署时的建议。
- ACL利用嘈杂的自报告预测 Twitter 用户人口统计信息
本文提出了一种基于识别 Twitter 个人资料描述自我报告种族和族裔的方法,以解决目前原有数据集较小、不准确或未覆盖美国四个最常见的种族和族裔群体的问题,有效提供了一个可复现的大规模培训种族和族裔判别系统的资源。
- 开源软件问题讨论中信息类型的分析与检测
通过对 GitHub 上三个项目中 15 个复杂问题讨论主题的定性内容分析,我们发现了 16 种信息类型,并创建了一个包含 4656 个句子的标记语料库。通过监督式自动分类技术,我们发现当给定问题的相关先验知识时,随机森林能够有效地使用会话 - 基于内容的视频相关度预测挑战:数据,协议和基线
通过视频信息的音频、文字、帧和元数据等特征,预测视频的相关度,以提供个性化的推荐,并解决推荐系统中的新视频问题,其中 Hulu 在 ACM Multimedia Conference 2018 主办了挑战赛,提供了海量视频资源和基于真实系统 - 基于时间提案演化的精准时间动作定位
提出了一个基于三阶段框架的行动定位方法,包括一个 Actionness 神经网络来生成初始提议,一个 Refinement 网络来进行边界调整,以及一个 Localization 网络进行精细定位回归。在 THUMOS14 基准测试中表现优 - 获取背景知识以提高道德价值预测能力
本文中,我们提出了一个新的方法,结合基本的文本特征和外部知识库中获取的背景知识来检测推文中的道德价值表达,并在计算社会科学的领域中实现了与单个人注释员相媲美的性能。这是在预测隐含心理变量方面首次尝试使用背景知识。
- 识别驱动在线讨论的社会信号:Reddit 社区案例研究
该研究聚焦于 Reddit 上的在线讨论,通过对不同社区的评论进行大量情感、相关性和内容分析,揭示了不同社区内高得分帖子的特征,进而探究社区话题的特异性、受众与管理水平对社区讨论的影响。
- 融合词嵌入的短文本主题建模
本篇论文介绍了一种基于词向量和马尔科夫随机场正则化模型的主题模型,从而改进对小文本数据的话题推断。结果表明,与传统主题模型相比,改进后的方法可以更有效地对短文本数据进行话题建模。
- 社交餐饮的自下而上分析
本研究通过对 Instagram 上标签和社交网络数据的分析,尝试理解外部图片的内容以及其与已有标签的关联,特别地,通过纯粹的社交网络数据尝试识别食品图像的类别和内容,并证明了该方法在识别流行食品类别时的正确率可以达到 70% 以上,这表明 - 超越 AMT: 众包平台分析
本研究通过对七个众包平台进行跨平台内容分析,对 Mechanical Turk 和其他众包平台进行对比研究来加速众包领域的多元化研究和进展。
- 分类任务的一致性评估: kappa 统计量
探讨了当前计算语言学和认知科学领域中可靠性测量存在的问题以及应该采用来自内容分析的技术作为解决方案。