本文出自澳大利亞一位ID為Dodgy Coder的程序員2012年4月的博客文章。他從High Scalability上整理和總結(jié)了Google、YouTube、Twitter、Amazon、Ebay、Facebook和Instagram等7家知名互聯(lián)網(wǎng)的系統(tǒng)擴展經(jīng)驗。值得注意的是，有些資料時過境遷，已經(jīng)不再反映最新情況，但是核心的理念和許多具體經(jīng)驗還是非常寶貴的學習資料，值得一讀。

不難發(fā)現(xiàn)，這7個公司都有以下共同的6大理念：

1.保持簡單——隨著時間推移，復雜性會自然出現(xiàn)。

2.自動化一切——包括災難恢復。

3.不斷迭代——想擴展到更高水平？必須準備好忍痛棄用現(xiàn)在能工作的某個組件。

4.選擇合適的工具——但也不怕自己動手打造。

5.使用緩存——在適當?shù)牡胤健?/p>

6.根據(jù)場景，在數(shù)據(jù)的一致性和可用性之間做取舍。

下面來分別看一下7大公司的經(jīng)驗吧。

可靠、可擴展的存儲基本上是任何應用程序的核心。GFS（Google File System）是Google的核心存儲平臺——它是一個大型分布式結(jié)構(gòu)化的日志文件系統(tǒng)，Google在其中存放了大量的數(shù)據(jù)。為什么會自建系統(tǒng)，而不是使用其他已有的產(chǎn)品？因為Google需要對系統(tǒng)有絕對的掌控力，同時這個平臺也正是Google之所以成為Google的地方。GFS使他們獲得了跨數(shù)據(jù)中心的高可靠性、擴展到數(shù)以千計個節(jié)點的能力、提供巨大的讀寫帶寬、支持以GB為單位的大數(shù)據(jù)塊處理和跨節(jié)點分布操作以降低瓶頸的高效技術(shù)。

Google可以更快、更便宜并且在規(guī)模上罕有匹敵地發(fā)布新的互聯(lián)網(wǎng)服務。許多公司與Google的想法并不相同，他們把基礎(chǔ)設(shè)施看成負擔，花錢的事兒。新舊兩類公司使用的技術(shù)完全不同，在系統(tǒng)開發(fā)上也少有共識。

大平臺方式有一個經(jīng)常被忽略的優(yōu)勢，就是初級開發(fā)者也能很快并自信地開發(fā)健壯的應用程序。如果每個項目都需要建立分布式基礎(chǔ)設(shè)施，那么你很快將會陷入困境，因為懂得這么去做的開發(fā)者非常少。協(xié)同效應并不總是空談，從整個系統(tǒng)上著眼改善，可以幫助到建立在這個系統(tǒng)上的所有應用程序或項目。比如：改善了文件系統(tǒng)就可以讓所有項目都立即而且透明地（指上層開發(fā)者和使用者都無需操心）獲益。如果每個項目都使用不同的文件系統(tǒng)，那么在整個技術(shù)棧上的改進將不會帶來持續(xù)不斷的增益。

自動化和恢復

建立自管理系統(tǒng)，讓工作不需要停機進行。這樣允許你更容易地進行以下操作：在多臺服務器間重新調(diào)配資源、動態(tài)添加容量、將機器下線以及從容地處理升級。

并行地執(zhí)行一個耗時（CPU綁定的）操作，并取優(yōu)勝者。這尤其適合在CPU富余而IO不足的情況。

學術(shù)界有很多很棒的思想，只不過還沒有進入生產(chǎn)環(huán)境。你現(xiàn)在看到Google所做的事情其實都并不新鮮，只是沒有大規(guī)模部署而已。

當由許多機器組成的大型集群受限于IO時，壓縮不失為一良策。

在不久的將來，云計算一定會徹底走入我們的生活，有興趣入行未來前沿產(chǎn)業(yè)的朋友，可以收藏云計算，及時獲取人工智能、大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識，讓我們一起攜手，引領(lǐng)人工智能的未來！

標簽： Google 大數(shù)據(jù) 服務器 互聯(lián)網(wǎng) 互聯(lián)網(wǎng)服務 開發(fā)者 云計算

版權(quán)申明：本站文章部分自網(wǎng)絡，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。