美國(guó)勞動(dòng)節(jié)（9月第一個(gè)星期一）周末，亞馬遜網(wǎng)絡(luò)服務(wù)中心的一個(gè)數(shù)據(jù)中心發(fā)生斷電，導(dǎo)致部分客戶數(shù)據(jù)丟失。

我們被告知，當(dāng)電源耗盡，備份生成器隨后出現(xiàn)故障時(shí)，一些虛擬服務(wù)器實(shí)例就會(huì)消失，而一些云承載的卷就會(huì)被銷(xiāo)毀，必須從備份中恢復(fù)（在可能的情況下）。

今天一位注冊(cè)讀者向我們透露，周六上午，亞馬遜的云業(yè)務(wù)開(kāi)始在其us - east -1地區(qū)遭遇崩潰。

我們的情報(bào)人員告訴我們，他們?cè)贏mazon的云托管Elastic Block Store（EBS）中有超過(guò)1TB的數(shù)據(jù)，這些數(shù)據(jù)在宕機(jī)期間消失了：他們被告知“與您的EBS卷相關(guān)的底層硬件發(fā)生了故障，與卷相關(guān)的數(shù)據(jù)不可恢復(fù)。”

我們的讀者要求保持匿名，他能夠手動(dòng)從大約8小時(shí)前方便地拍攝的EBS快照中恢復(fù)數(shù)據(jù)。沒(méi)有這個(gè)備份，他們可能無(wú)法恢復(fù)任何丟失的信息：亞馬遜的工程師們能夠恢復(fù)絕大多數(shù)被擊落的系統(tǒng)，盡管不是所有的存儲(chǔ)容量都能在這次硬著陸中幸存下來(lái)。

AWS工作人員告訴那些不幸的客戶，盡管他們?cè)噲D恢復(fù)丟失的比特和字節(jié)，但有些1和0被永久打亂了：“少量的卷是駐留在硬件損失的不利影響的力量。但是，由于power事件造成的損壞，這些卷的底層EBS服務(wù)器還沒(méi)有恢復(fù)。

“在進(jìn)一步嘗試恢復(fù)這些卷之后，它們被確定為不可恢復(fù)的。”

與此同時(shí)，一個(gè)客戶和技術(shù)顧問(wèn)Andy Hunt，不僅在推特上抱怨說(shuō)，他們的數(shù)據(jù)在斷電時(shí)被破壞，但還聲稱(chēng)失敗的原因并不是迅速傳達(dá)到用戶：“AWS電源故障，備用發(fā)電機(jī)失敗，造成他們死亡EBS服務(wù)器，它帶著我們所有的數(shù)據(jù)。然后他們花了四天的時(shí)間才弄明白并告訴我們。

“提醒：云只是萊斯頓的一臺(tái)電源不好的計(jì)算機(jī)。”

記者無(wú)法聯(lián)系到AWS發(fā)言人置評(píng)。

“受損”

雖然AWS的狀態(tài)頁(yè)面上公布了一些停機(jī)時(shí)間的細(xì)節(jié)，但El Reg看到了一系列更詳細(xì)的通知，這些通知向客戶解釋了這個(gè)錯(cuò)誤。

就在 11：00 PDT之前，AWS指出，“在US-East-1地區(qū)的六個(gè)可用區(qū)域之一的十個(gè)數(shù)據(jù)中心中，有一個(gè)出現(xiàn)了公用電力故障。備用發(fā)電機(jī)立即啟動(dòng)，但由于我們?nèi)栽谡{(diào)查的原因，在 06：00 PDT左右開(kāi)始迅速失靈。”

“這導(dǎo)致該可用性區(qū)域中7.5%的實(shí)例在 06：10 PDT之前失敗，”報(bào)告繼續(xù)說(shuō)道。“在過(guò)去幾個(gè)小時(shí)內(nèi)，我們已經(jīng)恢復(fù)了大多數(shù)實(shí)例，但在可用性區(qū)域內(nèi)仍有1.5%的實(shí)例有待恢復(fù)。EBS也存在類(lèi)似的影響，我們將繼續(xù)恢復(fù)EBS中的卷。在該區(qū)域啟動(dòng)新實(shí)例將繼續(xù)正常工作。”

大約幾小時(shí)后，在太平洋標(biāo)準(zhǔn)時(shí)間13：30分，AWS澄清并擴(kuò)展了它的說(shuō)明如下：

在 04：33 PDT，位于US-East-1地區(qū)六個(gè)可用區(qū)域之一的十個(gè)數(shù)據(jù)中心之一出現(xiàn)了公用電力故障。我們的備用發(fā)電機(jī)立即啟動(dòng)，但在06：00 PDT左右開(kāi)始失靈。這影響了可用性區(qū)域中7.5%的EC2實(shí)例和EBS卷。

在PDT為 07：45 時(shí)，受影響的數(shù)據(jù)中心已完全恢復(fù)供電。到 10：45 PDT時(shí)，除1%以外的所有實(shí)例都恢復(fù)了，到 12：30 PDT時(shí)，只有0.5%的實(shí)例仍然受損。自影響開(kāi)始以來(lái)，我們一直在努力恢復(fù)剩余的實(shí)例和卷。少量剩余的實(shí)例和卷托管在硬件上，這些硬件受到斷電的不利影響。我們將繼續(xù)努力恢復(fù)所有受影響的實(shí)例和卷，并將通過(guò)個(gè)人健康儀表板與其余受影響的客戶進(jìn)行通信。為了立即恢復(fù)，我們建議盡可能替換任何剩余的受影響的實(shí)例和卷。

因此，根據(jù)Amazon的說(shuō)法，實(shí)際上，在美國(guó)西海岸時(shí)間周六凌晨，AWS數(shù)據(jù)中心斷電，一個(gè)半小時(shí)后，備份生成器發(fā)生故障，在可用性區(qū)域內(nèi)，每10臺(tái)EC2虛擬機(jī)和EBS卷中只有1臺(tái)宕機(jī)。

幾個(gè)小時(shí)后，99.5%的受影響系統(tǒng)已經(jīng)恢復(fù)，而在那些仍然“受損”的系統(tǒng)中，有些是不可恢復(fù)的，這迫使訂閱者取出備份——假設(shè)他們保留了備份。