歸檔軟體廣納重複資料刪除技術

| | | | | | 留下回應

    

在惠普（HP）將重複資料刪除技術整合在歸檔產品RISS（參考資料歸檔儲存系統）上後；有更多儲存廠商有如是動作。EMC歸檔軟體DiskXtender業已整合重複資料刪除技術；NetApp A-SIS（Advanced-Single Instance Storage；不重複單元儲存系統）宣佈可適用於自家NearStore和FAS儲存系統，幫助用戶在多種應用環境，如備份、歸檔、遵循儲存和主要的資料集獲得重複資料刪除所帶來的成本效益。

另一間儲存廠商日立數據系統（HDS）在日昨（11）發表新版歸檔軟體日立內容歸檔平台（HCAP）2.4時，亦表示提供一稱為單一實例儲存（Single-instance-storage）功能的重複資料刪除技術，提供hash與binary比較，確保要刪除的目標確是重複資料。

「Single-instance-storage提供的是檔案層次的重複資料刪除，」HDS台灣區技術總監張憲桐說。他表示，歸檔軟體納入重複資料刪除技術是大勢所趨，確保備份和歸檔的是有用的資料，不浪費儲存空間。

重複資料刪除技術（Data De-duplication），意指掃描作業伺服器（production）磁碟資料，判斷資料是否為「重複」或「冗餘」。原理是以演算法切割磁碟裡的資料成為 區塊（Block）或是區段（Segment），並為每一個分割單位求出一個特徵值（unique ID），即可以代表此區塊的資料。

藉由這個特徵值，系統就可以比對硬碟中已有資料新寫入資料之間，是否具有相同之處。若是一致，即代表這筆資料為重複寫入，系統便只會為這份資料留下一個索引（index），而不會重複儲存佔有磁碟空間。換言之只有特徵值不同的資料才會被實際寫入硬碟。

根據EMC的估算，重複資料刪除技術能將每日備份資料量減至300分之一，備份時間則可減少至10分之一。對於擁有5TB以上的備份資料量、集中在檔案等非結構性資料的企業尤其適用。

這項新興技術從去年下半年開始廣獲儲存廠商重視。雖然由於建置成本不斐，動輒百萬台幣起跳，在台灣僅有金字塔頂端的用戶可能採用，但是儲存廠商已經擬定好了下一步，就是將其放到虛擬磁帶櫃。

目前已有如是作法的廠商包括了HDS、飛康國際（FalconStor）等。

惠普網路儲存解決方案事業處儲存方案產品經理蕭舜華則表示，將在今年第二季，令虛擬磁帶櫃（VTL, Virtual Tape Library）VLS 6200和6600系列，開始支援重複資料刪除技術（Data De-duplication）。EMC訂定的時間表則接近HP。

NetApp則表示，重複資料刪除技術已成為NetApp入門級NearStore VTL300的基本功能，但較高階的NearStore VTL700、VTL1400則另外選購。