2023-08-22这个男人帮 5 万个 AI 应用接上了大模型 | 42 章经播客对谈
2023-08-22这个男人帮 5 万个 AI 应用接上了大模型 | 42 章经播客对谈
2023年8月24日修改
原创 Dify.AI Dify 2023-08-22 09:00 发表于 江苏
数日前，Dify.AI 创始人 & CEO 张路宇受邀在 42 章经播客上与曲凯老师进行了一次深度对话， 围绕大型语言模型的能力和应用，让更多人了解大模型投产的现状、潜力和挑战，以及 LLM 中间件的价值。 小编将播客对话中的关键内容与观点进行整理如下。（本篇内容由于篇幅限制，仅摘取部分内容，推荐查阅文末播客入口，倾听原汁原味的炸裂对话与碰撞。）
对话主角：
42 章经 创始人：曲凯（以下简称 曲）
Dify 创始人：张路宇 （以下简称 张）
什么是 LLMOps？
🤔️ 曲 ：Dify 定位是 LLMOps，能和大家大概解释一下这个定义吗？
🐟 张 ：LLMOps 是 DevOps 的衍生，但存在运维和运营的区别。传统的 DevOps 将软件开发与运维融合，重点在基础设施监控和应用可用性。 然而，现代大型模型的 AI 应用需要更密切的研发与运营结合，运营要持续迭代，与研发之间要有快速反馈。 开发基于大模型的应用需要多个非技术人员参与，与传统软件开发不同，它需要结合业务、运营和销售等多方面经验。这就是 LLMOps 的核心概念，强调无论是 Prompt、Agent 还是模型本身，都必须接受市场用户的快速反馈并不断迭代，否则无法达到期望的结果，这是最大的工程区别。 Dify 是 LLMOps 的完整技术栈，包括开发框架和运营工具，用于大模型应用的开发、部署、维护和优化。 其目标是高效、可扩展和安全地使用强大的 AI 模型来构建和运行实际应用，包括模型训练、部署、监控、更新、安全性和合规性等方面。
🤔️ 曲 ：现在 Dify 应该算是这个领域的绝对第一名？GitHub 的 Stars 已经超过 7000+。
🐟 张 ： 从 5 月中旬开源到现在有 7000+ Stars。我们的 Docker 镜像拉取数差不多有 1 万，也就是外面有 1 万多个安装的私有化部署版本。 同时我们的公有云服务版本已经有 4 万多个应用。我们最近与用户进行了许多交流活动，发现 Dify 的用户质量非常高。他们提出了许多严肃的问题，希望利用大型模型的能力进行各种应用开发和投产，无论是市场创业、服务第三方客户，还是满足公司内部的各种业务需求，甚至一些实验性的需求，都表现出了高度的专注和严谨。
大模型工程化的三种方式与 Agent
🤔️ 曲 ：Dify 有 4 万多个应用，能和我们分享一些其中的难题吗？
🐟 张 ：我们可以逐层分析这一过程。首先，从模型角度看， OpenAI 显然是领导者，其在模型性能和 API 接口方面均明显领先，最接近实际生产应用。随着时间推移，我们可以考虑替换为更好的国产或开源模型。一旦接入模型，接下来是定义应用程序的过程。我们可以逐渐增加应用程序的服务层，从简单到复杂，分为几个级别。
最简单的级别是 Prompt as Service，由一些简单的提示组成，例如语法纠正或情感分类。 这种功能通常不适合作为独立的应用，而是可以用于增强你的自有应用，或者将其打包成更加产品化的应用，例如大量生成文案。这是我们最简单的应用类型之一。在此过程中，开发者需要不断编写代码来调试和优化提示。
然后，我们可以基于私有数据进行更高级的操作。由于 OpenAI 的模型数据大部分截止到 2021 年，因此我们可以提供私有数据以解决这个问题。 解决这个问题有两种方式，一种是微调模型本身，另一种是使用嵌入（Embedding）技术，将私有内容嵌入到提示中，这是 Prompt 工程的一种方式。 通过这种方式，您可以集成各种私有知识库，从而模型可以回答更多问题，不仅限于其现有的知识。
举例来说，如果您想让模型了解“曲凯老师”是谁，通常需要通过多次提问和回答的方式教给模型，这一过程非常繁琐。此外，在微调模型时，需要将模型加载到 GPU 显存中，这会消耗大量资源，因此微调只在必要时才使用，对大多数开发者来说门槛较高。
大模型本身及其能力有三种工程化方法。第一种是 Prompt 工程本身，第二种是嵌入技术，第三种是微调。 这三种选项基本上按照难度递增，可以根据自身具体情况选择合适的方法。
最后，我们考虑的是 Agent。前面提到的 Prompt 工程、嵌入技术和大模型本身都是解决模型在单次会话中的回答问题的方式。但在处理复杂情境时，例如让 AI 机器人帮助您预订机票，需要多轮对话或多步推理，使用上下文进行连续推演，需要一系列能力，如搜索工具、上网工具、调用 API 等，以完成一系列动作，最终达到目标。这个推理过程被称为 Agent。
Agent 有三种类型：第一种是手工编排，相对笨拙；第二种是完全自主的 Agent，但不可控；第三种是混合了大模型部分编排能力和自主能力的相对可控的 Agent。 此外，如果 Agent 的表现达到预期，可以将其动作和工具预存为编排好的 Agent，以重复执行相同的推理过程。
🤔️ 曲 ：现在 Agent 概念这么火的原因是什么？
🐟 张 ：很多人都对 Agent 这个概念充满激情，包括我自己。因为我们已经看到 AI 可以显著提高工作效率。现在只是帮助人类更快地完成任务，而在将来会直接完成任务，甚至有可能代替人类工作。这就是从人工干预到不再需要人工干预的变革。
Agent 的推理过程很接近人脑的思维方式，因此普遍认为，在一定成熟度阶段后，Agent 可以被看作是一位员工。 人们热衷于 Agent 和开源模型的原因是它们实现了技术平权的理念。工程师和技术人员此前从未接触过如此强大的工具。尽管它们的成熟度尚不高，但大家想象着拥有这个工具后，可以在各种领域中胜任，与大公司竞争，实现自己的愿望。因此，Agent 对他们来说具有巨大的吸引力。