站长资讯网
最全最丰富的资讯网站

“吞金兽”ChatGPT背后:AI算力告急!

近两个月来,全世界的网友们都在兴致勃勃的“调教”ChatGPT,但第一个受不了的却是ChatGPT的所有者。

为了更长远的发展,OpenAI宣布了付费订阅版ChatGPT Plus,每月收费20美元。

虽然OpenAI表示,将持续提供免费版,并且收费项目也将更好的“帮助尽可能多的人使用免费服务”。但是《纽约时报》也指出“在高峰时段,免费版访问人数将受到限制。”

“吞金兽”ChatGPT背后:AI算力告急!

显然,收费会是ChatGPT这类AI服务长久发展的必然选择。

究其根源,在于ChatGPT“越来越聪明”的背后,需要庞大的费用支撑。其中,算力成本是最重要的,也是最不能偷工减料的一部分。

那么,ChatGPT到底需要多少算力来支撑?

“吞金兽”ChatGPT的

算力消耗

ChatGPT对算力的消耗可以分为三个主要场景:

一是模型预训练过程,这是ChatGPT消耗算力的最主要场景。

ChatGPT采用预训练语言模型,在Transformer的模型架构下,语言预训练过程可以根据上下文一次处理所有输入,实现大规模并行计算。

通过堆叠多个解码模块,模型的层数规模也会随着提升,可承载的参数量同步增长。与之相对应的,模型训练所需要消耗的算力也就越大。

据OpenAI团队发表于2020年的论文《Language Models are Few-Shot Learners》,训练一次1746亿参数的GPT-3模型需要的算力约为3640 PFlop/s-day。

即假如每秒计算一千万亿次,也需要计算3640天。

考虑到ChatGPT训练所用的模型是基于GPT-3.5模型微调而来,GPT-3.5模型增加了参数量和训练样本量,包含超过1746亿个参数,那么预估训练一次ChatGPT所需算力至少需要约3640 PFlop/s-day的算力。

东吴证券研报分析认为,ChatGPT的优化主要来自模型的增大,以及因此带来的算力增加。

GPT、GPT-2和GPT-3的参数量从1.17亿增加到1750亿,预训练数据量从5GB增加到45TB,其中GPT-3训练单次的成本就高达460万美元。

同时,模型开发过程很难一次取得成功,整个开发阶段可能需要进行多次预训练过程,因此对于算力的需求是持续的。

此外,从基础大模型向特定场景迁移的过程,如基于ChatGPT构建医疗AI大模型,需要使用特定领域数据进行模型二次训练,同样会增加训练算力需求。

二是模型迭代过程。

从模型迭代的角度来看,ChatGPT模型并不是静态的,而是需要不断进行模型调优,以确保模型处于最佳应用状态。

这一过程中,一方面是需要开发者对模型参数进行调整,确保输出内容不是有害和失真的;另一方面,需要基于用户反馈和PPO策略,对模型进行大规模或小规模的迭代训练。

因此,模型调优同样会为ChatGPT带来算力成本,具体算力需求和成本金额取决于模型的迭代速度。

三是日常运营过程。

在日常运营过程中,用户交互带来的数据处理需求同样也是一笔不小的算力开支。考虑到ChatGPT面向全球大众用户,用的人越多,带宽消耗越大,服务器成本只会更高。

据SimilarWeb数据,2023年1月ChatGPT官网总访问量为6.16亿次。

据Fortune杂志,每次用户与ChatGPT互动,产生的算力云服务成本约0.01美元。

基于此,ChatGPT单月运营对应成本约616万美元。

据上文,我们已知训练一次1746亿参数的GPT-3模型需要3640 PFlop/s-day的算力及460万美元的成本,假设单位算力成本固定,测算ChatGPT单月运营所需算力约4874.4PFlop/s-day。

直观对比,如果使用

赞(0)
分享到: 更多 (0)
网站地图   沪ICP备18035694号-2    沪公网安备31011702889846号