Google強(qiáng)大的搜尋引擎每天處理龐大的搜尋數(shù)據(jù)，靠的是數(shù)十萬(wàn)的伺服器同時(shí)作工。然而一般企業(yè)并無(wú)法使用Google所用的內(nèi)部搜尋引擎工具，所以，擁有處理大數(shù)據(jù)工具的分散式運(yùn)算平臺(tái)Hadoop應(yīng)運(yùn)而生。

但問(wèn)題是Hadoop使用上有難度，數(shù)據(jù)處理公司Cloudera決心要解決這個(gè)問(wèn)題。

過(guò)去的公司企業(yè)仰賴傳統(tǒng)的關(guān)聯(lián)式資料庫(kù)和數(shù)據(jù)倉(cāng)儲(chǔ)就可應(yīng)付所需，然而，今日電子商務(wù)、社交媒體和行動(dòng)運(yùn)算不斷成長(zhǎng)使得資料量暴增，許多企業(yè)便開(kāi)始使用Hadoop等的工具處理數(shù)據(jù)�，F(xiàn)在，Cloudera現(xiàn)在更針對(duì)Hadoop平臺(tái)推出類Google的搜尋引擎：Cloudera Search。

搜尋引擎讓Hadoop更平易近人

Cloudera希望客戶能在Hadoop壯大之前就將資料儲(chǔ)存進(jìn)去，并將之整合入平臺(tái)。但使用Hadoop平臺(tái)與資料互動(dòng)必須要懂得MapReduce運(yùn)算技術(shù)，也就是說(shuō)你得會(huì)寫Java語(yǔ)言，這對(duì)許多使用者來(lái)說(shuō)并不方便。

雖然Hadoop已經(jīng)推出許多工具讓使用上更便利，但Cloudera希望更進(jìn)一步建立一個(gè)Hadoop的搜尋引擎。產(chǎn)品經(jīng)理澤德勒維斯基(Charles Zedlewski)說(shuō)：數(shù)萬(wàn)開(kāi)發(fā)者可能知道怎么用MapReduce，執(zhí)行SQL指令，但會(huì)使用搜尋引擎的人有數(shù)十億人。

Cloudera Search能夠與Hadoop分散式檔案系統(tǒng)(HDFS)或資料庫(kù)系統(tǒng)Hbase整合，使用者可以輸入搜尋字串后就找到一串搜尋結(jié)果。這項(xiàng)搜尋工具是以Apache Solr搜尋器為基礎(chǔ)。

市場(chǎng)研究公司RedMonk分析師歐葛瑞迪(Stephen O’Grady)表示：每多一項(xiàng)數(shù)據(jù)處理工具對(duì)Hadoop都有好處……從寫MapReduce程式到支援SQL語(yǔ)法的Hive或Pig等套件，每項(xiàng)工具都讓數(shù)據(jù)處理更有效率。

所有大數(shù)據(jù)都該放入Hadoop嗎?

這對(duì)改善Hadoop可用性的確幫助不少，但問(wèn)題是：客戶是否真的有需要將它們所有的數(shù)據(jù)都放入Hadoop?微軟今年稍早發(fā)表一份報(bào)告，主張大多數(shù)的公司只需要增加叢集伺服器的使用數(shù)量，不須嘗試用單臺(tái)伺服器處理數(shù)據(jù)，報(bào)告指出，甚至雅虎和臉書(shū)兩家最需要數(shù)據(jù)處理效能的公司，也是透過(guò)增加伺服器叢集解決效能問(wèn)題。

但許多公司正面臨數(shù)據(jù)不斷增長(zhǎng)的問(wèn)題，一開(kāi)始就加入Hadoop是不錯(cuò)的選擇，RedMonk過(guò)去也是Hadoop的使用者，但最近轉(zhuǎn)用BigQuery等其他的Google資料庫(kù)工具，原因是他們的數(shù)據(jù)在量上本質(zhì)就比較小，而且成長(zhǎng)的速度也沒(méi)有分析師原本預(yù)測(cè)得快。

但歐葛瑞迪說(shuō)：如果我們能夠更快速地獲得數(shù)據(jù)，就一定會(huì)使用Hadoop!

標(biāo)簽： Google 處理大數(shù)據(jù) 大數(shù)據(jù) 電子商務(wù) 開(kāi)發(fā)者 媒體 企業(yè) 問(wèn)題 選擇

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。