翟艳堂

翟艳堂于2010年在中国科学院超级计算中心硕士毕业后加入阿里巴巴数据平台部,2012年加入腾讯数据平台部,负责腾讯分布式数据仓库(TDW)相关的研发工作,现为腾讯TDW技术负责人。翟艳堂加入腾讯后,成功帮助腾讯的Hadoop单集群从几百台发展到万台规模、Spark超过两千台规模。翟艳堂在分布式计算和存储、流式计算等领域有着丰富的实践经验,特别对于Hadoop、Spark、Yarn等有深入理解。

演讲题目:开源助力腾讯大数据平台发展

摘要:腾讯拥有互联网企业中最丰富的业务场景,数据庞大且类型多样,数据平台部作为腾讯底层的大数据平台,在不同的时期面临着不同的挑战。为了快速满足业务需求,先后引入Hadoop、Yarn、Spark、HBase、Storm、Kafka等众多开源软件,并根据腾讯业务特点进行深度定制与大量改造,使得腾讯大数据平台成为可以承载超大量级数据应用的海量数据处理平台。在这个过程中,我们经历了学习开源、深入改造、回馈社区的三个阶段,开源帮助我们从无到有再到规模领先,我们希望借此次机会跟大家分享我们在开源实践中的一些心得和经验,与业界朋友一起探讨并共同建设好开源社区。