記者注意到，此次大會邀請了Yahoo!、Facebook、百度、中國移動研究院、淘寶、EMC、VMware、Intel、IBM、eBay等國內(nèi)外著名IT企業(yè)到會分享交流技術(shù)內(nèi)容，其中大部分是互聯(lián)網(wǎng)企業(yè)。而且，聽眾當中也有很多人來自互聯(lián)網(wǎng)、SNS、電子商務(wù)等領(lǐng)域。對于Hadoop為什么受到互聯(lián)網(wǎng)等企業(yè)的追捧，查禮在接受采訪時談到，Hadoop作為一種支撐大規(guī)�；ヂ�(lián)網(wǎng)服務(wù)的軟件平臺和工具集，可以用來解決分布式計算中的很多問題，跟商業(yè)軟件相比，有兩大主要優(yōu)勢：一是實用，效率較高，能夠處理許多商業(yè)軟件如傳統(tǒng)數(shù)據(jù)庫不能做的事情，特別是在大規(guī)模數(shù)據(jù)處理和計算方面，Hadoop的優(yōu)勢非常明顯;二是開源，成本低，而且容易修改，便于做二次開發(fā)，這尤其對于那些新興互聯(lián)網(wǎng)業(yè)務(wù)非常適用。

據(jù)了解，Hadoop的軟件工具非常豐富，主要提供了一套名為HDFS的分布式文件系統(tǒng)以及支持Map-Reduce的計算框架。此外，還提供構(gòu)建在HDFS 和Map/Reduce之上的可擴展的數(shù)據(jù)倉庫Hive，結(jié)構(gòu)化數(shù)據(jù)庫HBase，數(shù)據(jù)流高層語言Pig，高性能分布式協(xié)同服務(wù)ZooKeeper，以及面向大規(guī)模分布式系統(tǒng)的數(shù)據(jù)收集軟件Chukwa等。

自2002年Apache設(shè)置相關(guān)項目以來，源于互聯(lián)網(wǎng)的Hadoop也漸漸在互聯(lián)網(wǎng)領(lǐng)域扎下了根。如Yahoo!使用4000節(jié)點的機群運行Hadoop，支持廣告系統(tǒng)和 Web搜索的研究;Facebook使用1000節(jié)點的機群運行Hadoop，存儲日志數(shù)據(jù)，支持其上的數(shù)據(jù)分析和機器學(xué)習(xí);百度用Hadoop每天處理1PB的數(shù)據(jù)，進行搜索日志分析和網(wǎng)頁數(shù)據(jù)挖掘工作;中移動研究院基于Hadoop開發(fā)了“大云”(Big Cloud)系統(tǒng)，不但用于相關(guān)數(shù)據(jù)分析，還對外提供服務(wù);淘寶的Hadoop系統(tǒng)用于存儲并處理電子商務(wù)的交易相關(guān)數(shù)據(jù)。

Hadoop技術(shù)除已經(jīng)在互聯(lián)網(wǎng)領(lǐng)域得到廣泛應(yīng)用之外，同時也受到了學(xué)術(shù)界的普遍。國內(nèi)的高校和科研院所基于Hadoop在數(shù)據(jù)存儲、資源管理、作業(yè)調(diào)度、 性能優(yōu)化、系統(tǒng)高可用性和安全性方面進行研究，相關(guān)研究成果多以開源形式貢獻給Hadoop社區(qū)。在此次大會上，中科院計算所、江南計算所、清華大學(xué)、中國人民大學(xué)等科研院所專家到會報告了最新研究進展。畢竟，只要有大規(guī)模數(shù)據(jù)處理的地方，就可能有Hadoop的生存之地。

▲計算所展示Hadoop研究成果

如同Hadoop技術(shù)本身，Hadoop社區(qū)也還處于發(fā)展當中。談到當前Hadoop的生態(tài)系統(tǒng)，查禮將其定位于“正在發(fā)展”當中，但已經(jīng)過了“初創(chuàng)過渡”那個階段。他告訴記者，現(xiàn)在Hadoop已經(jīng)有了比較暢通的溝通渠道，比如Hadoop in China大會就是一個典型平臺，而且也有很多企業(yè)參與其中，大家在不同的點上做開源式的創(chuàng)新。計算所本身也在做Hadoop的研究，查禮所在的系統(tǒng)軟件組主要從事的是Hadoop的系統(tǒng)優(yōu)化研究。

不過，查禮也談到，國內(nèi)Hadoop生態(tài)系統(tǒng)的運作機制還不夠完善，比如在國外有專門的基金會支持開源，而且有企業(yè)愿意掏錢資助，但在國內(nèi)這樣的機制還不成熟，Hadoop開源社區(qū)運作起來就顯得比較松散。計算所希望通過Hadoop in China 志愿者社區(qū)和相關(guān)會議平臺，能夠推動Hadoop在中國的發(fā)展，促進它成為更加完整、更加有效的開源軟件。

在不久的將來，云計算一定會徹底走入我們的生活，有興趣入行未來前沿產(chǎn)業(yè)的朋友，可以收藏云計算，及時獲取人工智能、大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識，讓我們一起攜手，引領(lǐng)人工智能的未來！

標簽： 安全 大數(shù)據(jù) 電子商務(wù) 互聯(lián)網(wǎng) 互聯(lián)網(wǎng)服務(wù) 互聯(lián)網(wǎng)企業(yè) 互聯(lián)網(wǎng)業(yè)務(wù) 數(shù)據(jù)分析 數(shù)據(jù)庫 搜索 云計算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。