密度链（CoD）提示
密度链（CoD）提示
2024年7月26日修改
本文为论文《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》的中文精校解读
From Sparse to Dense:GPT-4 Summarization with Chain of Density Prompting
从稀疏到密集：使用密度链提示的GPT-4摘要生成
摘要
选择摘要中包含“正确”的信息量是一项困难的任务。一个好的摘要应该既详细又以实体为中心，但又不过于密集和难以追踪。为了更好地理解这种权衡，我们利用所谓的“密度链”（CoD）提示来寻求逐渐增加的 GPT-4 密度摘要。具体来说，GPT-4 首先生成一个初始的实体稀疏摘要，然后在不增加长度的情况下迭代地整合缺失的显著实体。与使用普通提示生成的 GPT-4 摘要相比，由 CoD 生成的摘要更具概括性，展现了更多的融合，并且减少了首段偏见。我们对 100 篇 CNN DailyMail 的文章进行了人类偏好研究，发现人们更喜欢那些比由普通提示生成的 GPT-4 摘要更密集的摘要，其密度几乎与人类编写的摘要一样。定性分析支持了信息性与可读性之间存在权衡的观念。500 篇带注释的 CoD 摘要以及额外的 5,000 篇未注释摘要可在 HuggingFace¹上免费获得。
加载失败，
图1：密度链（CoD）摘要的实体密度逐渐增加，起初更接近于原始的GPT-4摘要，最终超过了人工撰写的摘要。人类注解显示，与人工撰写的摘要相似的密度是更可取的——在清晰性（偏向较低密度）和信息性（偏向较高密度）之间找到了正确的平衡。