大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒有必要神話它或?qū)λ３志次分?，在以云?jì)算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本看起來很難收集和使用的數(shù)據(jù)開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會(huì)逐步為人類創(chuàng)造更多的價(jià)值。11月6日，在Techo開發(fā)者大會(huì)上，騰訊云副總裁、騰訊數(shù)據(jù)平臺(tái)部總經(jīng)理蔣杰表示，經(jīng)過10年的積累，騰訊大數(shù)據(jù)平臺(tái)的算力資源池目前已有超過20萬臺(tái)的規(guī)模，每天實(shí)時(shí)數(shù)據(jù)計(jì)算量超過30萬億條，騰訊已經(jīng)成為中國實(shí)時(shí)數(shù)據(jù)計(jì)算量最大的公司。

上述數(shù)據(jù)背后是騰訊大數(shù)據(jù)平臺(tái)技術(shù)過去10年的不斷演進(jìn)。據(jù)蔣杰介紹，騰訊的數(shù)據(jù)量在短短5、6年時(shí)間增長(zhǎng)了幾千倍，目前每天產(chǎn)生的數(shù)據(jù)量超過幾十萬億條數(shù)據(jù)在產(chǎn)生。為了應(yīng)對(duì)這種爆炸式增長(zhǎng)，騰訊走出了一條技術(shù)引進(jìn)+改造+自研的道路，在過去10年間，騰訊大數(shù)據(jù)平臺(tái)已經(jīng)經(jīng)歷了四代演進(jìn)。

從以Hadoop為核心的離線計(jì)算時(shí)代到以Spark、Storm、Flink為核心的實(shí)時(shí)計(jì)算時(shí)代，再到如今的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)時(shí)代，騰訊從無到有研發(fā)了分布式的機(jī)器學(xué)習(xí)引擎Angel，以及一站式AI開發(fā)平臺(tái)智能鈦TI，用來解決數(shù)據(jù)訓(xùn)練和算法的問題。目前，騰訊正在研究以批流融合、ABC融合、以及數(shù)據(jù)湖和聯(lián)邦學(xué)習(xí)為方向的下一代大數(shù)據(jù)平臺(tái)的研究,該平臺(tái)將具備混合部署、跨域數(shù)據(jù)共享和邊緣計(jì)算等能力。

蔣杰表示，從開始的技術(shù)引進(jìn)、局部?jī)?yōu)化到如今的自主創(chuàng)新，騰訊的大數(shù)據(jù)技術(shù)也在實(shí)踐中不斷完善和創(chuàng)新。“十年前，騰訊管理幾百個(gè)節(jié)點(diǎn)都很困難，調(diào)度性能差，規(guī)模上不去。后來為了有效解決計(jì)算能力和大規(guī)模集群?jiǎn)栴}，騰訊自研調(diào)度器，相對(duì)原生調(diào)度器性能提升150倍，大大提升了集群可擴(kuò)展性?，F(xiàn)在，騰訊大數(shù)據(jù)平臺(tái)每天有1500萬個(gè)分析任務(wù)，每天數(shù)據(jù)接入條數(shù)達(dá)35萬億條數(shù)據(jù)。”

2個(gè)月前，騰訊在ApacheCon 2019上，面向全球開發(fā)者正式宣布開源自身核心平臺(tái)——實(shí)時(shí)數(shù)據(jù)采集平臺(tái)TubeMQ，并捐獻(xiàn)給Apache社區(qū)。此次在Techo大會(huì)現(xiàn)場(chǎng)，再次重磅宣布正式開源資源管理平臺(tái)核心TKE和分布式數(shù)據(jù)庫TBase，隨著在大數(shù)據(jù)開源領(lǐng)域的開源逐步加速，騰訊正在成為中國大數(shù)據(jù)領(lǐng)域開源最全面的廠商。“目前，已經(jīng)有數(shù)百萬的開發(fā)者在騰訊云上構(gòu)建應(yīng)用，相信后面會(huì)有越來越多開發(fā)者加入，我們將和所有開發(fā)者一起，共建云上的應(yīng)用生態(tài)”，蔣杰表示。