“大數(shù)據(jù)”概念已經(jīng)出現(xiàn)超過15年,在褪去了社會(huì)對其浮躁的認(rèn)知后,已在各領(lǐng)域成熟應(yīng)用,從最開始的互聯(lián)網(wǎng)搜索行業(yè),再到企業(yè)運(yùn)營和生產(chǎn)制造,繼而擴(kuò)展到城市治理和教育醫(yī)療等。

　　當(dāng)“大數(shù)據(jù)”從少數(shù)機(jī)構(gòu)的技術(shù)殺手锏,變成每個(gè)企業(yè)都可以快速應(yīng)用的通用技術(shù),技術(shù)演進(jìn)貌似也已經(jīng)進(jìn)入一個(gè)相對平穩(wěn)的解答。我們不禁要問,大數(shù)據(jù)的未來在哪里?

　　我們今天不講那些大家耳熟能詳?shù)慕?jīng)典應(yīng)用案例,而是從筆者一個(gè)另類的大數(shù)據(jù)體驗(yàn)說起。

　　一. 你玩的是游戲,別人玩的是“大數(shù)據(jù)”。

　　去年,“吃雞”游戲《絕地求生》大火,我也積極相應(yīng)朋友圈的號(hào)召,在加班之余投入到吃雞大軍中,當(dāng)然,絕大多數(shù)時(shí)候都免不了在開局初期就成 “盒”(被擊殺)。

　　于是,為了提高戰(zhàn)績,我換了1080TI顯卡,在高位升級了2條內(nèi)存,還買了個(gè)高性能鼠標(biāo),但仍然是每局悲劇。再次驗(yàn)證了毛主席說的:“決定戰(zhàn)爭勝負(fù)的不是一兩件新式武器”。

　　直到我最近看到一篇文章,從大數(shù)據(jù)的角度對20G的游戲日志數(shù)據(jù)進(jìn)行了分析,讓我恍然大悟。

　　文章作者獲取到了近70萬次游戲內(nèi)擊殺的數(shù)據(jù)集,然后使用Mathematica工具進(jìn)行了簡單的大數(shù)據(jù)分析,得出了幾條結(jié)論。

　　1.首先通過分析擊殺者和被擊殺者的相對位置信息,得出結(jié)論“在房屋視覺死角方向靠近房屋可以大幅降低被擊殺的幾率”。

　　2.通過分析擊殺發(fā)生的坐標(biāo)信息,分析出游戲中的最容易發(fā)生擊殺事件的區(qū)域,玩家可以根據(jù)自己的游戲策略,選擇進(jìn)入高危區(qū)域或者躲避高危區(qū)域。

　　3.通過擊殺次數(shù)統(tǒng)計(jì),得出“擊殺15名對手的玩家,有75%的概率能贏得比賽”。說明,在游戲中,只有多擊殺對手,才是獲得最終勝利的關(guān)鍵。

　　遵循著大數(shù)據(jù)分析給出的結(jié)論,我又上手玩了幾天,雖然還是沒有吃到雞,但是整體的游戲表現(xiàn)比之前有了大幅提升。只要有數(shù)據(jù),人人都可以玩大數(shù)據(jù)。

　　二. 大數(shù)據(jù)是怎么走到今天的

　　2004年前后,谷歌發(fā)表了三篇論文,標(biāo)志著計(jì)算機(jī)大數(shù)據(jù)時(shí)代的開啟。三篇文章分別是《分布式文件系統(tǒng) GFS》、《分布式計(jì)算框架 MapReduce》和《NoSQL 數(shù)據(jù)庫 BigTable》,俗稱“三駕馬車”。

　　2005年, Hadoop因其技術(shù)的高效性,被Apache Software Foundation公司引入并成為開源應(yīng)用。

　　2008年末,計(jì)算社區(qū)聯(lián)盟 (Computing Community Consortium),發(fā)表了白皮書《大數(shù)據(jù)計(jì)算:在商務(wù)、科學(xué)和社會(huì)領(lǐng)域創(chuàng)建革命性突破》,該組織也成為第一個(gè)提出大數(shù)據(jù)概念的機(jī)構(gòu)。

　　2010年,肯尼斯.庫克爾在《經(jīng)濟(jì)學(xué)人》上發(fā)表大數(shù)據(jù)專題報(bào)告《數(shù)據(jù),無所不在的數(shù)據(jù)》,成功的洞見了大數(shù)據(jù)時(shí)代的趨勢。

　　2012年,維克托•邁爾•舍恩伯格出版了《大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革》一書,提出了大數(shù)據(jù)的核心就是預(yù)測。該書也成為的大數(shù)據(jù)入門必看讀物。

　　2012年,美國政府在白宮網(wǎng)站發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》,標(biāo)志著大數(shù)據(jù)已經(jīng)成為重要的時(shí)代特征。

　　2014年,中國《政府工作報(bào)告》中首次出現(xiàn)“大數(shù)據(jù)”一詞,掀起國內(nèi)大數(shù)據(jù)研究和應(yīng)用浪潮。

　　2016年,Spark在大數(shù)據(jù)行業(yè)開始流行,包括IBM在內(nèi)的大企業(yè)都紛紛擁抱這個(gè)經(jīng)濟(jì)實(shí)惠的分布式計(jì)算開源框架。標(biāo)志著一個(gè)大數(shù)據(jù)新的技術(shù)里程碑。

　　2019年,知名的大數(shù)據(jù)軟件企業(yè)Cloudera和Hortonworks宣布合并,而另一大數(shù)據(jù)獨(dú)角獸MapR被HPE收購,標(biāo)志著大數(shù)據(jù)商業(yè)軟件時(shí)代的結(jié)束,也預(yù)示著大數(shù)據(jù)的另一個(gè)未來。

　　三.大數(shù)據(jù)的未來在哪里?

　　在過去的十幾年,硬件的性能,尤其是網(wǎng)絡(luò)性能一直是大數(shù)據(jù)應(yīng)用的瓶頸, 天才的架構(gòu)師們自然想到了集群化大數(shù)據(jù)系統(tǒng)架構(gòu)。

　　1)分布式集群集中部署

　　單服務(wù)器提供的算力有限,使用大規(guī)模的服務(wù)器組成分布式集群,成千上萬個(gè)普通CPU并行計(jì)算突破了單服務(wù)器算力極限。

　　2)數(shù)據(jù)分散存儲(chǔ)在物理機(jī)每個(gè)硬盤上

　　每臺(tái)服務(wù)器掛載幾個(gè)至十幾個(gè)普通硬盤,使用多臺(tái)服務(wù)器搭載搭建了分布式存儲(chǔ)系統(tǒng),有效解決超大規(guī)模數(shù)據(jù)存儲(chǔ)問題。

　　3)數(shù)據(jù)本地化

　　數(shù)據(jù)處理任務(wù)從遠(yuǎn)程物理機(jī)讀取數(shù)據(jù)開銷大。以數(shù)據(jù)為“中心”,將數(shù)據(jù)處理任務(wù)遷移到數(shù)據(jù)所在的物理機(jī)上,能有效降低網(wǎng)絡(luò)帶寬,保證了整體性能。

　　這就是存算一體的大數(shù)據(jù)技術(shù)架構(gòu)。經(jīng)過十多年的發(fā)展,網(wǎng)絡(luò)性能已經(jīng)提升了100倍,內(nèi)存容量也提升了數(shù)十倍。大數(shù)據(jù)處理的瓶頸逐漸從網(wǎng)絡(luò)轉(zhuǎn)移到CPU上,上述存算一體架構(gòu)的缺點(diǎn)也逐漸突顯出來:

　　1)剛性擴(kuò)容,資源浪費(fèi)

　　不同場景需要的存儲(chǔ)空間和算力配比是不一樣的。實(shí)際使用中要么計(jì)算資源達(dá)到瓶頸,要么是存儲(chǔ)容量不足,只能對集群進(jìn)行剛性擴(kuò)容,造成集群資源浪費(fèi)。

　　2)資源無法彈性

　　不同場景,不同時(shí)期需要的算力是不固定的,存在波峰和波谷。物理機(jī)中存儲(chǔ)數(shù)據(jù)造成無法大規(guī)模關(guān)閉閑置節(jié)點(diǎn),造成算力閑置和能源浪費(fèi)。

　　3)數(shù)據(jù)孤島

　　隨著企業(yè)數(shù)據(jù)多種數(shù)據(jù)式并存,并存儲(chǔ)在不同的系統(tǒng)中,形成數(shù)據(jù)孤島,且互相訪問轉(zhuǎn)換成本高,制約了數(shù)據(jù)價(jià)值的進(jìn)一步挖掘。

　　4)作業(yè)擁塞

　　隨著數(shù)據(jù)采集技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展,企業(yè)擁有EB級數(shù)據(jù)已經(jīng)成為常態(tài),而單次大數(shù)據(jù)分析作業(yè)就需要讀取數(shù)百TB乃至PB級的數(shù)據(jù),多任務(wù)并發(fā)下,極易出現(xiàn)作業(yè)擁塞,影響企業(yè)正常運(yùn)作。

　　華為預(yù)測,到2025年,全球年新增數(shù)據(jù)存儲(chǔ)量為180ZB,企業(yè)的數(shù)據(jù)利用率會(huì)達(dá)到86%。如此巨大的數(shù)據(jù)如何高效的分析其中的價(jià)值?顯然,現(xiàn)有的大數(shù)據(jù)架構(gòu)已經(jīng)無法滿足未來的需求了,那么,大數(shù)據(jù)的未來在哪里?

　　8月27日,在重慶悅來國際會(huì)議中心舉辦的“重慶·選擇不凡 華為云城市峰會(huì)2019”,鯤鵬大數(shù)據(jù)解決方案將重磅發(fā)布,為您揭開大數(shù)據(jù)的未來之路。想了解更多峰會(huì)詳細(xì)內(nèi)容,搜索:華為云官網(wǎng)-最新活動(dòng)-城市峰會(huì)-重慶·選擇不凡 華為云城市峰會(huì)2019。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。