在部署重復(fù)數(shù)據(jù)刪除系統(tǒng)時(shí)，考慮其可伸縮性和可靠性很重要。隨著存儲(chǔ)容量和重復(fù)數(shù)據(jù)刪除粒度性的增加，系統(tǒng)性能需要保持在可接受性的水準(zhǔn)之上。如果由于重復(fù)刪除算法錯(cuò)誤而產(chǎn)生數(shù)據(jù)損失，重復(fù)數(shù)據(jù)刪除應(yīng) 能夠不受影響。

可伸縮性與哈希沖突

重復(fù)數(shù)據(jù)刪除產(chǎn)品檢測(cè)重復(fù)的數(shù)據(jù)元素，判斷一個(gè)文件、塊或比特是否和另一個(gè)文件、塊或比特相同。重復(fù)數(shù)據(jù)刪除產(chǎn)品將每個(gè)數(shù)據(jù)元素用數(shù)學(xué)的"哈希"算法來(lái)進(jìn)行處理，并得到一個(gè)名叫哈希碼的唯一的認(rèn)證數(shù)。每個(gè)數(shù)字都被編譯到一個(gè)清單，這個(gè)清單經(jīng)常被稱(chēng)為哈希索引。

當(dāng)新的數(shù)據(jù)元素被處理時(shí)，它們所產(chǎn)生的哈希碼將和已經(jīng)在索引表中的哈希碼相比較。如果新的數(shù)據(jù)元素所得到的哈希碼和另一個(gè)已經(jīng)在索引表中的哈希碼相同，那么這個(gè)新數(shù)據(jù)將被認(rèn)為是一個(gè)重復(fù)數(shù)據(jù)，將不被保存到磁盤(pán)--只有一個(gè)很小的參照"存根"能夠相聯(lián)到已經(jīng)被存儲(chǔ)的同一數(shù)據(jù)。如果索引表中沒(méi)有這個(gè)新的哈希碼，那么該數(shù)據(jù)元素將被認(rèn)為是新數(shù)據(jù)而被正常保存到磁盤(pán)中。

即使這個(gè)數(shù)據(jù)不是和已保存的那個(gè)數(shù)據(jù)完全相同，這個(gè)數(shù)據(jù)元素還是可能會(huì)產(chǎn)生同樣的哈希碼。這就是誤確認(rèn)，或者稱(chēng)為哈希沖突，這將導(dǎo)致數(shù)據(jù)丟失。有幾種方法可以緩解誤確認(rèn)。重復(fù)數(shù)據(jù)刪除廠(chǎng)商可以選擇在每個(gè)數(shù)據(jù)元素上使用多于一個(gè)的哈希算法。例如，F(xiàn)alconStor 軟件公司的虛擬磁帶庫(kù)（VTL）上的單實(shí)例存儲(chǔ)（SIR）技術(shù)就用SHA-1和MD5算法來(lái)進(jìn)行帶外索引。這在很大程度上減少了誤確認(rèn)的機(jī)率。另一個(gè)選擇就是使用一個(gè)哈希算法，但是在數(shù)據(jù)元素的比較上精確到比特單位。

這兩種方法的共同問(wèn)題是它們需要主機(jī)系統(tǒng)更多的處理能力，降低了索引效率，減緩了重復(fù)數(shù)據(jù)刪除進(jìn)程。隨著重復(fù)數(shù)據(jù)刪除進(jìn)程越來(lái)越�；�，所檢驗(yàn)的數(shù)據(jù)塊也越來(lái)越小，索引變得更加龐大，而哈希沖突的機(jī)率也隨之增加，更加拖累了性能。

可伸縮性和加密

另一個(gè)問(wèn)題就是在一個(gè)公司的存儲(chǔ)架構(gòu)中，重復(fù)數(shù)據(jù)刪除和傳統(tǒng)的壓縮及加密之間的關(guān)系。普通的壓縮是將冗余數(shù)據(jù)移出文件，而加密則是"打亂"數(shù)據(jù)，使得數(shù)據(jù)完全隨機(jī)而不可讀。在數(shù)據(jù)存儲(chǔ)中，壓縮和加密都扮演著重要的角色，但是刪除冗余數(shù)據(jù)可能影響重復(fù)數(shù)據(jù)刪除進(jìn)程。如果加密或傳統(tǒng)的壓縮和重復(fù)數(shù)據(jù)刪除一起被請(qǐng)求進(jìn)行，那么編制索引和重復(fù)數(shù)據(jù)刪除應(yīng)當(dāng)先進(jìn)行。

標(biāo)簽： 問(wèn)題 選擇

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。