娱乐圈有八卦、科技圈也有不少瓜,比如今天想和大家探讨的这对科技圈CP。
说到美国动漫《芝麻街》中的BERT,很多人就会自然而然想到他的好朋友ERNIE,在科技圈中的BERT和ERNIE也经常被同时cue到……
有趣的是,昔日的“好朋友”竟然来自中美两家科技巨头,这个关系可以说是相当的微妙。
谷歌BERT,对于混迹于科技圈的程序猿肯定不陌生,如果你的研究领域刚好是NLP,可能会对BERT有更深入的了解,它是去年由谷歌发布的预训练模型,曾在机器阅读理解顶级水平测试SQuAD1.1中表现优异。
今年3月,百度推出知识增强的语义表示模型ERNIE,来自英文“Enhanced Representation from kNowledge IntEgration”的缩写,在自然语言推断、语义相似度、命名实体识别、情感分析、问答匹配等自然语言处理(NLP)各类中文任务上全面超越 BERT。
现在ERNIE再次重大升级,发布了持续学习的语义理解框架ERNIE 2.0,及基于此框架的ERNIE 2.0预训练模型。继1.0后,ERNIE又在英文任务方面取得全新突破,在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA效果,可谓纵横中外、国货之光了。
BERT和ERNIE就在这种状况下相遇了,只要其中一个被媒体提及,那另一个绝对是如影随形。夸张的说一句BERT和ERNIE就像有天然的“绯闻”体质。
BERT和ERNIE的原理,和小朋友通过做语文练习题来学习语言非常类似,BERT通过做海量的完型填空练习题学习人类语言,而ERNIE是通过做更多样、更复杂的练习题来加强语言的学习,例如,给打乱的句子排序,判断两个句子具有何种逻辑关系,判断两个句子是否表达同一个意思等。
BERT和ERNIE不仅是各大科技媒体的“宠儿”,还在今年的中美两大科技盛会中被“点名”。
在上个月的百度AI开发者大会中,百度CTO王海峰博士也在会上详细解读了ERNIE。作为一名实打实的中国开发者,一方面对于中国AI进展感到十分自豪,另一方也觉得BERT和ERNIE还能以这样的方式组CP简直愈来愈有趣。
2019百度AI开发者大会 百度CTO王海峰讲解ERNIE
在更早的5月份谷歌I/O大会中,谷歌宣布推出全新的BERT语言学习模型,谷歌AI大牛Jeff Dean 似乎也在为BERT的新进展站台。
2019谷歌I/O大会 谷歌大神Jeff Dean讲解BERT
开扒这么多BERT和ERNIE的“爱恨纠葛”。不过说真的,百度ERNIE的表现也的确惊艳,更新速度也快,看论文也能了解不少技术细节,百度在NLP领域还是相当有具备国际竞争力了。
不得不说,中国AI发展的速度相当迅速,百度作为中国AI代表企业之一,在ERNIE推出之时就可以与谷歌BERT抗衡,并在多项中英文任务上超越BERT。相信ERNIE和BERT将持续在NLP领域为我们带来更多的惊喜,除了嗑不完的瓜,也有用不完的便捷。燃烧吧,新时代人工智能!