输入“/”快速插入内容

如何成为LLM提示词大师!「大语言模型的底层心法」

2024年7月15日修改
作者:David Shapiro | 产品欧sir
本文是参考国外大佬总结的提示词分类方法所写,希望让大家对LLM的提示工程有更深刻的理解!内容主要包含:3种LLM提示类型和4种LLM能力分类。(文末附视频和PPT地址)
3种提示类型
缩减
转换
生成/扩展
4种能力分类
布鲁姆的分类法(Bloom's Taxonomy)
潜在内容(Latent content)
新兴能力(Emergent Capabilities)
幻觉是一种特性,而不是一个错误
下面对这几种分类来详细介绍一下:
释放大型语言模型的潜力
像GPT-4和Claude这样的大型语言模型(LLM)已经引起了技术专家和普通大众的兴趣。它们能够生成类似人类的文本并进行对话,似乎有点像科幻小说中的情节。然而,与任何新技术一样,关于LLM究竟是如何工作的仍然存在许多混淆和争议。
在这篇文章中,我旨在提供LLM的关键能力的高级分类,以澄清它们能够做什么和不能做什么。我的目标是以非专家可以理解的方式解释LLM的当前状态,同时确定进一步研究和发展的领域。最终,我相信如果在道德上负责任的方向上引导,LLM有巨大的潜力来增强人类智慧。
什么是LLM?
首先,什么是大型语言模型?在最基本的层面上,LLM是一个深度学习神经网络,训练于大量的文本数据,如书籍、网站和社交媒体帖子。"大型" 意味着这些模型有数十亿个参数,使它们能够建立非常复杂的语言统计表示。
LLM被训练的关键任务是在给定先前上下文的情况下预测序列中的下一个单词或标记。因此,如果它看到文本 "猫跳过了...",它会学会预测 "篱笆" 是可能的下一个标记。反复进行这个过程使LLM获得了关于语言运作方式以及词汇和概念之间关系的隐式知识。
这个训练过程以及使用的大规模数据集使LLM像Claude和GPT-4这样的模型嵌入了相当多的世界知识。然而,重要的是要理解,LLM没有明确的知识或手工编码的规则,它们所有的能力都是从训练数据中识别模式的结果。
LLM的基本操作
在高层次上,LLM有三种主要的操作模式:
缩减操作:从大到小。>
转换操作:保持大小和/或意义。≈
生成(或扩展)操作:从小到大。<
让我们深入探讨。
缩减操作
在进行缩减操作时,LLM表现出很强的能力。这些操作涉及将大段或大量文档作为输入,将其压缩成更简洁的输出。缩减任务利用LLM的语言建模优势来识别和提取最重要的信息。
一个常见的缩减操作是摘要。当给定一个冗长的输入文本时,LLM可以生成一个简洁的摘要,仅涵盖关键要点。这是通过分析文档以查找主题、事件和描述的事实来完成的。然后,模型尝试将这些元素综合到一个简短的摘要中,传达完整文档的核心要义。LLM通常在有限长度内非常擅长基本摘要,删除不必要的细节同时保留语义含义。
与摘要相关的任务是提炼。这超出了仅仅缩短文档的范畴,而是提取和精炼其基本原则、发现或事实。提炼旨在过滤掉输入中的噪声和冗余,纯化核心知识或主张。对于科学文档,LLM可能会识别和综合实验的关键假设、结果和结论。提炼需要更深入的理解,以区分外围内容和核心断言。
提取是LLM利用的另一种缩减技术。这涉及扫描文本并提取特定的信息片段。例如,LLM可以阅读文档并提取名称、日期、数字或其他特定数据。提取是问答的基础,LLM在这个领域表现出色。当要求从一段文本中提取特定细节时,LLM通常能够准确地检索所请求的信息。
总的来说,缩减操作直接利用了大型语言模型的优势。它们的统计学习使它们能够识别和传达冗长输入文本的最重要部分。随着LLM的不断发展,摘要、提炼、提取等技术将变得更加强大。
以下是大模型缩减操作的几种应用方法:
摘要: 用更少的词表达相同的内容,如可以使用列表、笔记、执行摘要等方式。
提炼: 纯化基本原则或事实如去除所有噪音,如提取公理、基础等。
提取: 检索 指定类型的信息,如问答、列出名称、提取日期等。
表征: 描述文本的内容,如描述文本作为一个整体,或在特定主题内进行描述。
分析: 寻找模式或根据框架进行评估,如结构分析、修辞分析等。
评估: 测量、评分或评估内容,如评分论文、根据道德标准评估等。
批评: 在文本的上下文中提供反馈,如提供改进建议。
转换性操作
与缩减性任务相比, 转换性操作旨在重塑或重新构建输入文本 ,而不显著缩小或扩展它们。LLM表现出在语言转换方面的强大能力,可以将内容重新呈现为新的格式和风格,同时保留整体含义。
一个常见的转换技术是重新格式化——改变文本的呈现方式而不改变信息内容。 例如,LLM可以轻松将散文转化为电影剧本对话,将博客帖子翻译成推特,或将一段文本从主动语态转换为被动语态。重新格式化利用模型对流派和语言约定的结构性理解。
自然语言之间的翻译代表了LLM的另一个关键的转换能力。给定一种语言的输入文本,它们可以通过替换词汇和语法而保持语义一致性,将其重写为另一种语言。翻译质量在不同语言对之间有所差异,但随着使用更多多语言数据进行训练,翻译质量不断提高。