近两个月来,全世界的网友们都在兴致勃勃的“调教”ChatGPT,但第一个受不了的却是ChatGPT的所有者。
为了更长远的发展,OpenAI宣布了付费订阅版ChatGPT Plus,每月收费20美元。
虽然OpenAI表示,将持续提供免费版,并且收费项目也将更好的“帮助尽可能多的人使用免费服务”。但是《纽约时报》也指出“在高峰时段,免费版访问人数将受到限制。”
显然,收费会是ChatGPT这类AI服务长久发展的必然选择。
究其根源,在于ChatGPT“越来越聪明”的背后,需要庞大的费用支撑。其中,算力成本是最重要的,也是最不能偷工减料的一部分。
那么,ChatGPT到底需要多少算力来支撑?
“吞金兽”ChatGPT的
算力消耗
ChatGPT对算力的消耗可以分为三个主要场景:
一是模型预训练过程,这是ChatGPT消耗算力的最主要场景。
ChatGPT采用预训练语言模型,在Transformer的模型架构下,语言预训练过程可以根据上下文一次处理所有输入,实现大规模并行计算。
通过堆叠多个解码模块,模型的层数规模也会随着提升,可承载的参数量同步增长。与之相对应的,模型训练所需要消耗的算力也就越大。
据OpenAI团队发表于2020年的论文《Language Models are Few-Shot Learners》,训练一次1746亿参数的GPT-3模型需要的算力约为3640 PFlop/s-day。
即假如每秒计算一千万亿次,也需要计算3640天。
考虑到ChatGPT训练所用的模型是基于GPT-3.5模型微调而来,GPT-3.5模型增加了参数量和训练样本量,包含超过1746亿个参数,那么预估训练一次ChatGPT所需算力至少需要约3640 PFlop/s-day的算力。
东吴证券研报分析认为,ChatGPT的优化主要来自模型的增大,以及因此带来的算力增加。
GPT、GPT-2和GPT-3的参数量从1.17亿增加到1750亿,预训练数据量从5GB增加到45TB,其中GPT-3训练单次的成本就高达460万美元。
同时,模型开发过程很难一次取得成功,整个开发阶段可能需要进行多次预训练过程,因此对于算力的需求是持续的。
此外,从基础大模型向特定场景迁移的过程,如基于ChatGPT构建医疗AI大模型,需要使用特定领域数据进行模型二次训练,同样会增加训练算力需求。
二是模型迭代过程。
从模型迭代的角度来看,ChatGPT模型并不是静态的,而是需要不断进行模型调优,以确保模型处于最佳应用状态。
这一过程中,一方面是需要开发者对模型参数进行调整,确保输出内容不是有害和失真的;另一方面,需要基于用户反馈和PPO策略,对模型进行大规模或小规模的迭代训练。
因此,模型调优同样会为ChatGPT带来算力成本,具体算力需求和成本金额取决于模型的迭代速度。
三是日常运营过程。
在日常运营过程中,用户交互带来的数据处理需求同样也是一笔不小的算力开支。考虑到ChatGPT面向全球大众用户,用的人越多,带宽消耗越大,服务器成本只会更高。
据SimilarWeb数据,2023年1月ChatGPT官网总访问量为6.16亿次。
据Fortune杂志,每次用户与ChatGPT互动,产生的算力云服务成本约0.01美元。
基于此,ChatGPT单月运营对应成本约616万美元。
据上文,我们已知训练一次1746亿参数的GPT-3模型需要3640 PFlop/s-day的算力及460万美元的成本,假设单位算力成本固定,测算ChatGPT单月运营所需算力约4874.4PFlop/s-day。
直观对比,如果使用