语音识别行业正面临新一轮的洗牌。
早在两年前,大家的普遍认识是语音识别领域将会催生出巨头公司。所以当苹果、Google、百度、三星和微软提出要收购当时全球语音领域的老大Nuance的时候,Nuance CEO Paul Ricci一口回绝。
但随之不久,苹果、Google和微软都选择了摆脱Nuance的依赖,自建团队开发语音业务。在那之后,Nuance的市场份额节节下跌,2014年还高达60%的市场份额,一年时间缩水一半只剩31.1%(Source:Research and Markets)。相比之下,Google语音识别的市场份额增长明显。
在英语领域,我们看到的趋势是作为搜索巨头的Google逐渐占据行业的主导权。那对于中文领域的市场,是否会重现在英语领域语音识别发生的历史呢?当百度重兵布局语音领域,是否会成为中国语音识别领域标准的制定者,占据行业主导权呢?
我们从多个角度分析。
1.语音识别新架构:用做图像的方法做语音
近些年来,我们发现在图像领域有一个明显的发展趋势:越来越深的卷积神经网络层级(CNN),从最初的8层,到19层、22层、乃至152层的网络结构。而随着网络结构的加深,ImageNet竞赛的错误率也从2012年的16.4%逐步下降到3.57%。
ImageNet竞赛中,越来越深的CNN不断刷新着其性能
那么,深度学习在图像领域的进展,是否能够在语音识别上有所突破呢?
通常情况下,语音识别是基于时频分析后的语音谱完成的。如果将卷积神经网络的思想应用在语音识别的声学建模上,我们就可以把时频谱当作一张图像来处理。而由于卷积神经网络的局部连接和权重共享的特点,它具有很好的平移不变性,所以可以将它应用在语音识别中,而且还能克服语音信号本身的多样性(说话人自身、以及说话人间、环境等)。
Deep CNN语音识别的建模过程
但这里遇到一个问题,虽然在ImageNet竞赛中得到广泛关注的Deep CNN结构能够显著提高性能,但由于无法实现实时的计算,其很难在产品模型中得到实际的应用。
一个解决方案是借鉴Residual连接的思想,训练一个数十层的包含Residual连接的 Deep CNN,以用于工业产品中。
百度对此做了对比实验,最终发现Deep CNN架构不仅能够显著提升HMM语音识别系统的性能,而且也能提升CTC语音识别系统的性能。在此同时,百度也尝试了将LSTM或GRU的循环隐层和CNN结合,这是相对较好的选择。
这也推导出了百度发布的新型语音识别架构:Deep CNN + LSTM + CTC。
模型结构采用:Deep CNN + Deep LSTM。
建模方式:基于CTC的端对端建模。
通过创新的架构,百度大幅提升了语音识别产品的性能,相对于工业界现有的CLDNN 结构,错误率相对降低了10%以上。
2.新架构推动语音大规模产业化
从历史来看,产品和系统真正的大规模使用和推广,一般都来自于基础性的变革和突破。
对于语音识别来说,真正能够实现大规模使用的系统,一定要满足:在不同场景、方言下的稳定性,大规模的训练能力,极短的训练时间,大大降低的机器耗费。这好比 Android 一样,稳定、支持海量应用和场景开发、开发时间短、开发成本低。
而Deep CNN和LSTM、CTC结合的架构,在以下几个方面有显著的优势:
1)更强的通用性。使用一个单独的算法完成从任务输入端到输出端的所有过程。
2)大规模训练的能力。能够在约10万小时的精准标注语音数据中完成训练。
3)大大降低服务成本。以CTC为例,它能够让语音识别解码的计算量降下来,光这部分成本就能降低近1倍。
4)适合工业界。据百度Deep Speech中文研发负责人李先刚介绍,百度不仅能达到近十万级的数据规模,而且能够支持高性能计算,这可以让优秀的模型直接移植到产品线中。
5)性能更优秀。以往语音系统将训练过程拆解,人为干预多,但效果不一定好。端对端模型减少了人为干预,直接从输入端到输出端,一般性能会更好。
6)层数越深,效果越好。引入了深层CNN的概念,语音识别的性能得到显著的提升,正如李先刚博士所言:‘The Deeper , The Better’。
李先刚博士特意提到了百度语音的研发侧重点。与学术研究不同,百度语音聚焦于技术的实际应用,技术难度和实现程度更高。针对语音识别产品而言,首先要具备在大规模语音数据库上体现性能提升,其次就是具有适合语音在线识别产品运行的模型。
正是基于以上这些优势,让百度语音识别真正成为大规模产业化的基础,带来真正的人机交互变革。
3.语音识别以量取胜的同时,也以质取胜
语音识别技术经历了长达60年的发展。2006年Hinton提出了深度置信网络,掀起了深度学习的热潮。2009年,Hinton以及他的学生D. Mohamed将深度神经网络应用于语音的声学建模,在小词汇量连续语音识别数据库TIMIT上获得成功。从2010年开始,微软的俞栋、邓力等学者首先尝试将深度学习技术引入到语音识别,随后逐渐成为了主流。
而在以深度学习的发展脉络下,语音识别的准确率和通用性,本质就在于:
数据量的多少,这很大程度来自于搜索量、使用量的规模;
算法的优劣,顶级人才在这方面有极其重要的作用;
计算能力的水平,尤其是在大规模产业化和成本因素下,FPGA等专业硬件的发展水平也非常重要。
而在这三方面的比拼中,巨头公司将会占据极大的优势,因为它们拥有最多的数据,最顶级的人才以及最强大的计算能力水平。所以当Google开放语音识别API 后,在英语语音识别的市场中,Google将比Nuance有更大的优势。
而在中文市场中,百度也将扮演着和Google在英语市场相似的角色。
4.传统专利池受到挑战,竞争回归技术
语音识别的模型算法每年都有很大的变化。就以百度自己的语音识别技术来说,2013 年语音识别技术主要还是基于美尔子带CNN模型,2014年发展出了Sequence Discriminative Training(区分度模型),2015年初发展出基于LSTM –HMM的语音识别,年底发展出基于LSTM-CTC的端对端语音识别系统,而现在把Deep CNN模型和 LSTM、CTC结合了起来。
百度语音识别技术每年迭代算法模型
在快速发展的技术下,很多公司选择了采取组建知识产权产业联盟的方法。2015年 11月,百度开放了上百项智能语音专利,和海尔、京东、中兴通讯、中国普天等 20 多家单位组建了智能语音知识产权产业联盟。
这种开放式创新和开放式知识产权许可的结合,也许会成为智能语音未来的产业核心模式。这也意味着传统语音的专利池,在快速发展、迭代的语音技术下,在更开放的语音联盟下,会失去过去的保护作用。
所以智能语音的未来发展,关键还是在于核心技术的突破,这也就来到了数据、算法和计算能力的比拼,这方面百度会有很大优势。
5.人工智能技术生态的重要作用
当Google发布了语音开放API,其对Nuance的打击是致命的。这不仅仅是因为Google在产品、技术上的优势,而且也来自于Google强大的人工智能技术生态,例如以TensorFlow为代表的深度学习引擎,因为大量的一线工作人员使用,其对语音识别领域的开发选择有强大的影响力。
当语音技术逐渐往大规模产业化发展时,公司的技术生态会非常重要。对于百度来说,9月份开源的PaddlePaddle,1月份开源的Warp-CTC,都对产业界有深远的影响。
基于上面的分析,我们认为语音识别将进入大规模产业化的时代。而在核心技术和能力的比拼下,语音识别也将进入巨头崛起,传统语音公司稍显没落的时代。
特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。