2023-07-11人工智能大模型应用的算力成本有多高？
输入“/”快速插入内容
2023-07-11人工智能大模型应用的算力成本有多高？
2023-07-11人工智能大模型应用的算力成本有多高？
2023年9月1日修改
01—需要多少预算？
同时还需要对硬件成本进行一个大致的估算：这个项目需要得用多少GPU？硬件采购的费用预算多少？
要对硬件资源成本进行估算， 一方面决定于项目的技术方案 ：是否需要训练，还是只做微调训练，或者只做文档提取； 一方面决定于硬件的选型 ：选哪家的GPU产品。
02—算力需求
算力需求主要分为两部分，包括训练算力和推理算力 。
目前来说对训练算力需求非常高，ChatGPT的公开数据显示它的整个训练算力消耗非常大，达到了3640PF-days。
PF-days = 1 PetaFLOP/s 的效率运行一天。PetaFLOP，是衡量计算机性能的一个重要单位，1 PetaFLOP等于每秒钟进行1千万亿次的数学运算，这种速度大约是运算速度最快计算机的8倍。
换成比较好理解的说法，假如每秒计算一千万亿次，需要计算3640天。
换算成英伟达A100芯片，它单卡算力相当于0.6P的算力，理想情况下总共需要大概6000张，在考虑互联损失的情况下，需要一万张A100作为算力基础。
在A100芯片（一张A100官方售价是1万美元，而且对中国限售。英伟达销售到国内的是规避限售的相应型号减配版。）10万人民币/张的情况下，算力的硬件投资规模达到10亿人民币。
训练算力相关设备主要是英伟达的A100和H100，推理算力主要是英伟达T4卡。
有数据显示，ChatGPT在运营过程中也需要相当大的开销。
根据国盛证券报告，以ChatGPT在1月的独立访客平均数1300万计算，其对应芯片需求为3万多片A100 GPU，大概需要的算力成本为8亿美元，每天的电费成本在5万美元左右。
在实际生产场景中，芯片的运算速度也不等于先进的算力，芯片速度和算力之间还有一个软件层：“高性能GPU分布式训练框架“，
算力问题之所以成为制约人工智能的瓶颈，是因为当前大模型进入万亿参数时代，单体服务器算力有限，需要将大量服务器通过高性能网络相连，打造大规模算力集群。
高性能计算存在“木桶效应”，一旦计算、存储、网络任一环节出现瓶颈，就会导致运算速度严重下降。
以腾讯云原生来架构模型训练的结构如下（腾讯云星星海自研服务器，搭载英伟达最新代次H800 GPU，服务器之间采用3.2T超高互联带宽）：
一共四层架构：最底层是算力硬件资源；上一层是高性能的计算集群，主要起到灵活调度和计算资源分配的作用；中间一层是深度学习加速，作用提升计算的利用率，最上面才是机器学习，模型服务。
之前提到的国产大模型 ChatGLM2-6B 初体验 ，是使用华为的AI框架昇思MindSpore训练的。据官方信息透露，最开始130B（1300亿参数）大小数据集的训练过程中，华为框架团队一同协同改进框架，一共用了三个月。
这也是为什么大模型迭代升级，一项重要的改进就是提升性能： 性能提升571%，32K超长上下文，推理速度提升42%，允许商用，国产开源大模型推出了二代 ChatGLM2-6B ，提升性能就是省钱。
03—有低成本的方案吗？
直接训练模型投入大，周期长，只有大厂玩家才能有实力介入。如果只是直接使用例如ChatGPT，ChatGLM这类预训练模型，进行微调，或者是知识库文档数据提取，只消耗推理算力，投入成本就要小很多。
参考海外最新研究《The Economics of Large Language Models》，可以有如下估计： 每个 token（1000 token 约等于 750 个单词）的训练成本通常约为 6N，而推理 成本约为 2N，其中 N 是 LLM （大语言模型）的参数数量。
也就是说推理成本大约相当于训练成本的三分之一。
官方资料显示，ChatGLM2-6B 模型能运行起来的最低硬件要求：建议英伟达Tesla 显卡系列，NVIDIA A100 GPU，15G显存， 一般的 3090 GPU也差不多了。单这仅仅是模型进行正常推理的算力最低要求，并没有考虑使用用户数量。
要计算一个用户向ChatGPT、ChatGLM 这类大模型提问并获得回复所需的算力，我们需要考虑以下因素： 模型规模（参数数量）、输入文本长度（问题长度）、输出文本长度（回复长度）、模型的计算复杂性 。