2023-06-26 死磕AI大模型网络，鹅厂出招了！
输入“/”快速插入内容
2023-06-26 死磕AI大模型网络，鹅厂出招了！
2023-06-26 死磕AI大模型网络，鹅厂出招了！
死磕AI大模型网络，鹅厂出招了！
2023年，以ChatGPT为代表的AIGC大模型全面崛起，成为了整个社会关注的焦点。
大模型表现出了强悍的自然语言理解能力，刷新了人们对AI的认知，也掀起了新一轮的“算力军备竞赛”。
大家都知道，AIGC大模型的入局门槛是很高的。玩AI的三大必备要素——算力、算法和数据，每一个都意味着巨大的投入。
以算力为例。ChatGPT的技术底座，是基于微调后的GPT3.5大模型，参数量多达1750亿个。为了完成这个大模型的训练，微软专门建设了一个AI超算系统，投入了1万个V100 GPU，总算力消耗约3640 PF-days（即假如每秒计算一千万亿次，需要计算3640天）。
业内头部厂商近期推出的大模型，参数量规模更是达到万亿级别，需要的GPU更多，消耗的算力更大。
这些数量庞大的GPU，一定需要通过算力集群的方式，协同完成计算任务。这就意味着，需要一张超高性能、超强可靠的网络，才能把海量GPU联接起来，形成超级计算集群。
那么，问题来了，这张网络，到底该如何搭建呢？
█ 高性能网络的挑战
想要建设一张承载AIGC大模型的网络，需要考虑的因素非常多。
首先，是网络规模。
刚才我们也提到，AI训练都是10000个GPU起步，也有的达到十万级。从架构上，目标网络就必须hold得住这么多的计算节点。而且，在节点增加的同时，集群算力尽量线性提升，不能引入过高的通信开销，损失算力。
其次，是网络带宽。
超高性能的GPU，加上千亿、万亿参数的训练规模，使得计算节点之间的通信量，达到了百GB量级。再加上各种并行模式、加速框架的引入，节点之间的通道带宽需求会更高。
传统数据中心通用的100Gbps带宽接入，根本满足不了这个需求。我们的目标网络，接入带宽必须升级到800Gbps、1.6Tbps，甚至更高。
第三，流量调控。
传统的网络架构，在应对AI大模型训练产生的数据流时，存在缺陷。所以，目标网络需要在架构上做文章，更好地控制数据流路径，让节点和通道的流量更均衡，避免发生拥塞。
第四，协议升级。
网络协议是网络工作的行为准则。它的好坏，直接决定了网络的性能、效率和延迟。
传统数据中心的TCP/IP协议，早已已无法满足高性能网络的大带宽、低时延需求。性能更强的IB（InfiniBand）协议、RDMA协议，已然成为主流。有实力的厂家，还会基于自家硬件设备，自研更高效的协议。
第五，运维简化。
这就不用多说了。超大规模的网络，如果还是采用传统运维，不仅效率跟不上，还会导致更长的故障恢复周期，损失算力，损失资金。