7月25日,在阿里云峰会上海站上,阿里云飞天大数据平台正式亮相。据悉,这是中国唯一自主研发的计算引擎,也是全球集群规模最大的计算平台。
数据显示,飞天大数据平台目前已经可以扩展至10万台计算集群,规模全球第一,同时单日数据处理量从2015年100PB、2016年180PB、2017年320PB,一直到2018年超过600PB,仅用三年时间便提升了5倍。
在民生服务领域,阿里云飞天大数据平台已经在悄然支撑便捷的电子化服务,在“最多跑一次”、城市大脑等场景中,协助政府优化服务模式,实现更智能便捷的服务能力,保障信息安全。
原来需要跑5个窗口、耗时2天才能拿到的新生儿出生证,现在只需在手机上动动手指、填9项信息,就能办好;原来看一次病,需要排队付几次费,现在可以看完回家再付钱……这样的场景正在越来越多的城市变为现实,背后都是飞天大数据平台的支撑。
比如在浙江,飞天大数据平台与“最多跑一次”打通了与老百姓办事最密切相关的100个事项、70多亿条数据,有些政务老百姓甚至有可能一次都不需要跑。
尤其在杭州,城市大脑已经可以实时指挥1300个红绿灯路口、200多名交警。从2016年到2018年,杭州在全国最拥堵城市排行榜上下跌了52名。
据了解,阿里云飞天大数据平台的研发源自阿里的自身实践。
十年前,新兴互联网业态蓬勃发展,中小企业在阿里电商平台上爆发式增长,形成了海量数据,直接击垮传统IT架构。
对此,大部分企业都是直接使用国际开源的数据计算框架Hadoop,而当时全球企业的数据库基本都是Oracle,阿里也拥有亚洲最大的Oracle集群,计算规模达数百TB级别,但是经过激烈争论后,阿里选择探索自己的平台。
就在当时,Google、亚马逊AWS、微软等硅谷巨头,也都纷纷投入了大数据技术的研发。
早在2012年初,阿里巴巴技术委员会主席王坚就表示:“从战略上来说,阿里云想做的事情实际上可以解读为Amazon+Google并有所超越。将单一集群做到数千乃至更高,技术上是国家和企业竞争力的标志。阿里巴巴必须攻克这道难关。”
过去十年,飞天大数据平台已经打破了多个世界记录:
2013年,突破单集群内5000台服务器同时计算的局限,如今单集群规模已超过1万台;
2015年,打破计算界奥运会SortBenchmark的四个世界纪录,用时不到7分钟便完成了100TB的数据排序,刷新了ApacheSpark 23.4分钟的纪录。
Forrester发布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》报告中,阿里云MaxCompute、DataWorks、ADB等三款产品成功入选,并在产品功能(Current Offering)方面力压微软。