2023-07-11人工智能大模型应用的算力成本有多高？
2023-07-11人工智能大模型应用的算力成本有多高？
2023年9月1日修改
01—需要多少预算？
同时还需要对硬件成本进行一个大致的估算：这个项目需要得用多少GPU？硬件采购的费用预算多少？
要对硬件资源成本进行估算， 一方面决定于项目的技术方案 ：是否需要训练，还是只做微调训练，或者只做文档提取； 一方面决定于硬件的选型 ：选哪家的GPU产品。
02—算力需求
算力需求主要分为两部分，包括训练算力和推理算力 。
目前来说对训练算力需求非常高，ChatGPT的公开数据显示它的整个训练算力消耗非常大，达到了3640PF-days。
PF-days = 1 PetaFLOP/s 的效率运行一天。PetaFLOP，是衡量计算机性能的一个重要单位，1 PetaFLOP等于每秒钟进行1千万亿次的数学运算，这种速度大约是运算速度最快计算机的8倍。
换成比较好理解的说法，假如每秒计算一千万亿次，需要计算3640天。
换算成英伟达A100芯片，它单卡算力相当于0.6P的算力，理想情况下总共需要大概6000张，在考虑互联损失的情况下，需要一万张A100作为算力基础。
在A100芯片（一张A100官方售价是1万美元，而且对中国限售。英伟达销售到国内的是规避限售的相应型号减配版。）10万人民币/张的情况下，算力的硬件投资规模达到10亿人民币。
训练算力相关设备主要是英伟达的A100和H100，推理算力主要是英伟达T4卡。
有数据显示，ChatGPT在运营过程中也需要相当大的开销。
根据国盛证券报告，以ChatGPT在1月的独立访客平均数1300万计算，其对应芯片需求为3万多片A100 GPU，大概需要的算力成本为8亿美元，每天的电费成本在5万美元左右。
在实际生产场景中，芯片的运算速度也不等于先进的算力，芯片速度和算力之间还有一个软件层：“高性能GPU分布式训练框架“，
算力问题之所以成为制约人工智能的瓶颈，是因为当前大模型进入万亿参数时代，单体服务器算力有限，需要将大量服务器通过高性能网络相连，打造大规模算力集群。
高性能计算存在“木桶效应”，一旦计算、存储、网络任一环节出现瓶颈，就会导致运算速度严重下降。
附件不支持打印
加载失败，