重複資料刪除概觀

發行︰ 2016年8月
適用於： Windows Storage Server 2012、Windows Server 2012 R2、Windows Server 2012
本主題描述 Windows Server 2012 R2 和 Windows 2012 Server 的重複資料刪除功能，並說明此功能的實際應用。

重複資料刪除是有關尋找和移除資料內的重複項目，而不會犧牲它的真實性或完整性。 其目標是透過將檔案區分成小型的 (32–128 KB) 不限大小區塊、識別重複的區塊，然後為每個區塊保留一份複本，以便在較少的空間儲存較多的資料。 區塊的重複複本由單一複本的參照取代。 區塊壓縮後會在系統磁碟區資訊資料夾中整理成特殊容器檔案。
如此每個檔案都會進行磁碟轉換，如圖 1 所示。 進行重複資料刪除之後，就不再將檔案儲存為獨立的資料流，且這些檔案會被取代為虛設常式，並指向一般區塊存放區內儲存的資料區塊。 由於這些檔案會共用區塊，因此這些區塊只會儲存一次，這樣可減少儲存所有檔案所需的磁碟空間。 在檔案存取期間，會明確組合正確的區塊以處理資料，而且呼叫應用程式或使用者不需要知道對檔案進行的磁碟上轉換。 這樣可以讓系統管理員將重複資料刪除套用至檔案，且不需擔心對應用程式的行為有任何改變或對存取這些檔案的使用者有任何影響。
圖 1 磁碟上的檔案轉換
圖 1 重複資料刪除期間的檔案磁碟上轉換
啟用磁碟區的重複資料刪除且最佳化資料後，磁碟區會包含下列內容：
  • 未最佳化的檔案。 例如，未最佳化的檔案包含不符合選取之檔案使用期限原則設定的檔案、系統狀態檔案、替代資料流、加密檔案、含擴充屬性的檔案、小於 32 KB 的檔案、其他重新分析點檔案，或是其他應用程式正在使用的檔案 (「正在使用」的限制在 Windows Server 2012 R2 中已移除)。
  • 最佳化的檔案。 儲存為重新分析點的檔案，其中包含的指標會指向要求還原檔案時所需區塊存放區中各自區塊的對應。
  • 區塊存放區。 最佳化檔案資料的位置。
  • 其他可用空間。 最佳化的檔案和區塊存放區所佔用的空間遠比最佳化之前少。

為了解決企業中資料儲存空間成長的問題，系統管理員正在合併伺服器，並將容量調整和資料最佳化做為關鍵目標。 重複資料刪除提供一些實際的方法可以達成這些目標，包含：
  • 容量最佳化。重複資料刪除會在較少的實體空間儲存較多的資料。 這比使用單一例項存放 (SIS) 或 NTFS 壓縮提供更大的儲存空間效率。 重複資料刪除使用子檔案不限大小區塊化及壓縮，為一般檔案伺服器提供最佳比例 2:1，虛擬化資料則提供高達 20:1 的比例。
  • 縮放與效能。重複資料刪除功能具備高延展性，高資源效率而且不會產生干擾。 它可以在 Windows Server 2012 R2 處理每秒最多 50 MB，在 Windows 2012 Server 則大約每秒 20 MB 的資料。 它可以在多個磁碟區上同時執行而不會影響伺服器上的其他工作負載。 透過降低 CPU 與記憶體資源的消耗量，來維持對伺服器工作負載的最低影響。 當伺服器非常忙碌時，重複資料刪除可以完全停止。 此外，系統管理員可以隨時執行重複資料刪除，也可以彈性設定應該執行重複資料刪除的排程以及建立檔案選取原則。
  • 可靠性及資料完整性。套用重複資料刪除時，會維護資料的完整性。 重複資料刪除會使用總和檢查碼、一致性和身分識別驗證來確保資料的完整性。 針對所有中繼資料以及最常參考的資料，重複資料刪除會以備援的方式確保發生資料損毀的情況時能夠復原資料。
  • BranchCache 的頻寬效率。透過與 BranchCache 結合，相同的最佳化技術也會套用到經由 WAN 傳輸到分公司的資料。 這樣的結果會讓檔案下載的速度變快，而且使用較少的寬頻。
  • 使用熟悉的工具進行最佳化管理。重複資料刪除的最佳化功能已內建到伺服器管理員與 Windows PowerShell。 預設設定可以立即省去自行設定的步驟，系統管理員也可以微調設定以便更符合自己的需求。 每個人都可以使用 Windows PowerShell Cmdlet 輕鬆地開始最佳化工作或排程在未來執行最佳化。 安裝重複資料刪除功能以及在選定的磁碟區上啟用重複資料刪除的作業，也可以使用呼叫 Windows PowerShell 指令檔的 Unattend.xml 檔案來完成，而且可以在系統初次開機時搭配 Sysprep 來部署重複資料刪除。

下表說明重複資料刪除功能的變更。 如需詳細資訊，請參閱什麼是 Windows Server 中的重複資料刪除的新功能。
下表說明重複資料刪除功能的變更。 如需詳細資訊，請參閱什麼是 Windows Server 中的重複資料刪除的新功能。
特色/功能
新功能或更新功能？
描述
虛擬桌面基礎結構 (VDI) 工作負載遠端存放的重複資料刪除
Windows Server 2012 R2 的新功能
藉由在叢集共用磁碟區 (CSV) 上實作重複資料刪除，針對虛擬桌面基礎結構 (VDI) 工作負載的作用中虛擬硬碟 (VHD) 進行最佳化。
在原始路徑展開最佳化檔案
Windows Server 2012 R2 的新功能
使用 Windows PowerShell 中的新 Expand-DedupFile Cmdlet，視需要在原始路徑上的指定路徑展開最佳化檔案，以獲得應用程式的相容性、效能或其他需求。 如需 Cmdlet 的詳細資訊，請參閱 T:Deduplication.Expand-DedupFile。
虛擬化備份應用程式所使用的備份磁碟區重複資料刪除
Windows Server 2012 R2 的新功能
透過在叢集共用磁碟區 (CSV) 或有限的超聚合式組態上實作重複資料刪除，最佳化虛擬化備份應用程式工作負載所使用的作用中虛擬硬碟 (VHD)。 (支援具有 2014 年 11 月更新彙總套件的 Windows Server 2012 R2 (KB 3000850) 或更新版本)。

若要充分利用重複資料刪除功能，您的環境必須符合下列需求：
  • 伺服器：一部執行 Windows Server 2012 R2 或 Windows 2012 Server 的電腦或虛擬機器，且至少要有一個資料磁碟區
  • (選擇性) 另一部執行 Windows Server 2012 R2 或 Windows 2012 Server 的電腦或虛擬機器 (需透過網路連線到伺服器)
    System_CAPS_important重要
    若在 VDI 或虛擬化備份工作負載上執行重複資料刪除，則所有 VHD 檔案必須：
    • 儲存在執行 Windows Server 2012 R2 的檔案伺服器上，且儲存體節點和計算節點在不同的伺服器上執行。
    • 以特定、有限的超聚合式組態儲存在本機儲存體上。 如需詳細的需求，請參閱計劃部署重複資料刪除。

您可以在 Azure 虛擬機器上執行此 Windows Server 角色服務。 這種情況已經過 Windows Server 2012 R2 測試。 我們建議搭配使用重複資料刪除與磁碟區讀取頻繁但寫入不頻繁的 Microsoft Azure 虛擬機器。 在這些情況下，重複資料刪除可以提供有效率的方式，在 Azure VM 中儲存更多資料。
下列工作負載在搭配 Azure VM 上的重複資料刪除使用時是很好的對象：
  • 具有相當靜態內容的一般檔案伺服器
  • 具有相當靜態內容的 Microsoft SharePoint 網站
  • 具有相當靜態內容的網站
下列工作負載不建議搭配 Azure VM 上的重複資料刪除使用，因為工作負載所使用的大型檔案會有頻繁的變更：
  • 訊息伺服器，例如 Microsoft Exchange Server
  • 資料庫伺服器，例如 Microsoft SQL Server
若要瞭解如何開始使用 Azure 虛擬機器，請瀏覽 Azure 網站。

重複資料刪除功能包含監視本機或遠端 I/O 的篩選驅動程式，以及控制三種可用工作類型 (最佳化、廢棄項目收集和清除) 的重複資料刪除服務。
重複資料刪除架構中原本就有硬體故障的恢復能力，這些功能包含資料和中繼資料的完整總和檢查碼驗證，包括中繼資料以及最常存取的資料區塊備援。
重複資料刪除可能可以處理所選磁碟區上的資料 (但不包括大小小於 32 KB 的檔案、已排除之資料夾中的檔案，或是已套用保留天數設定的檔案)。 您應該仔細判斷伺服器和連接的磁碟區是否為合適的重複資料刪除候選項目，然後才啟用此功能。 我們強烈建議在刪除重複作業期間，您定期備份重要資料。

如需其他相關資訊，請參閱下列資源。
內容類型
參考
產品評估
部署
操作
社群資源
相關技術

留言

張貼留言

這個網誌中的熱門文章

免費SCSI Target軟體讓伺服器化身SAN儲存設備

圖片
無論Windows、Linux或Solaris平臺，都有許多免費甚至開源的SCSI Target軟體可用，可幫助用戶將通用的x86伺服器，轉為不同類型的SAN儲存設備使用 從虛擬化平臺到資料庫應用上的許多功能，後端都需要有SAN類型儲存設備的支持，但是對於測試、模擬實習、教學之類的用途來說，由於SAN設備所費不貲，要建置SAN儲存設備便有所困難。 無論是哪種企業或機關單位，都不太可能僅僅為了測試、模擬實習之類非生產環境常態使用的用途，而投資購買SAN儲存設備。儘管如此，IT人員卻又十分需要在測試、實習環境中，得到SAN儲存設備的支援，以便能模擬完整的應用環境架構，此時便是免費型式的SCSI Target軟體派上用場的時刻。 建置SAN網路儲存環境的好幫手—SCSI Target軟體 SCSI Target軟體的功能，是將伺服器主機，轉為可透過不同網路協定遠端存取的SCSI目標端儲存裝置，就測試、實習之類的用途來說，自然是基於乙太網路環境的iSCSI Target最為實用—幾乎所有主機都內建了乙太網路埠，所以無須額外的硬體投資，就能搭配iSCSI Target軟體，將主機轉為iSCSI SAN儲存設備使用。 從Windows、Linux到Solaris，目前幾乎所有主要作業平臺都有iSCSI Target軟體可用，只要在主機上安裝iSCSI Target軟體，就能將主機底層的磁碟空間，以虛擬磁碟或實體磁碟等形式，透過iSCSI協定掛載給其他主機使用，讓通用型伺服器提供基於IP協定與乙太網路的SAN儲存服務。 其中有不少iSCSI Target軟體，都是可讓用戶免費取得軟體的開源/Freeware型式，或是免費取得軟體的基本功能使用的Shareware型式，用戶可視自身作業平臺的類型，免費取得合適的iSCSI Target軟體來使用。 一些軟體甚至提供了跨多種協定的SCSI Target功能，不僅可提供導入門檻最低的iSCSI Target功能，還能支援FC、FCoE、iSER、SRP等多種儲存網路協定，只要搭配合適的硬體，如FC HBA卡、FCoE CNA卡或InfiniBand HCA卡，就能建立起基於FC、FCoE或InfiniBand網路的SAN環境。 我們過去曾在2009年的兩篇報導—iThome第40...
閱讀完整內容

How to reset the iDRAC on PowerEdge? ( internal Dell Remote Access Controller)

圖片
How to reset the iDRAC on PowerEdge? ( internal Dell Remote Access Controller) The integrated Remote Access Controller (iDRAC) with Lifecycle Controller is responsible for system profile settings and for out-of-band management. If issues occur regarding these topics, one of the first troubleshooting steps is to reset the IDRAC module. Note:  For the following 3 options a system restart is not required. Reset via the i-button Reset via RACADM Reset via iDRAC GUI 1. Option: Reset via the i-button Since 12th generation of PowerEdge servers, a small button marked with an " i"  (Figure 1) is located on the front panel of many tower and rack systems. In order to reboot the iDRAC press the button for at least 30 seconds. Stop pressing the button when the cooling fans start spinning at full speed and the front LCD (if given) is turning off. Now the iDRAC restarts without changing any saved settings. It takes a few minutes until the remote controller works as before,...
閱讀完整內容

HDD磁碟，非4K無以致遠

圖片
機械硬碟的未來要靠高容量作為依託，在財報中，希捷表示未來18個月內它們將推出14和16TB機械硬碟，而2020年20TB機械硬碟就將誕生。也有資料顯示，3.5英寸100TB硬碟大概在2025年就能面世。因此，機械硬碟與固態硬碟的拉鋸戰恐怕還會繼續打下去。 3.5寸6TB以上容量等大容量磁碟，都採用4K扇區磁碟，所以4K扇區磁碟技術是大容量磁碟的技術載體。前一段時間，分享過一篇文章vSAN 6.5解耦vSphere讓存儲更任性，裡面提到4K磁碟，很多讀者問我關於4K磁碟的問題，今天花時間跟大家分享下這方面的知識。 什麼是4K扇區 在硬碟碟片上，扇區（sector）是尋址、存放數據的最小單位，是扇區的基本組成。 用戶數據區是存儲用戶數據的區域，ECC隨用戶數據生成並一起寫入碟片，用於修復受損的數據，格式化開銷包含同步欄位、DAM(數據地址標記)、扇區間隔，這些信息在格式化時生成。 扇區的大小分類 512扇區：每扇區可存儲512字節用戶數據，硬碟誕生50多年來一直採用512扇區，正逐漸被4K扇區所取代。 4K扇區：每扇區可存儲4KB用戶數據，相當於把8個512合併為一個大扇區。2010年各廠家開始推出4K扇區的硬碟，目前已逐漸成為主流。 為什麼會出現4K扇區硬碟 4K扇區技術有助於提升硬碟容量，同時改善數據完整性 格式化開銷降低10%~15%，可用較少的物理空間存儲相同的用戶數據量，有利於廠家製造出容量更大的硬碟。 4K扇區的ECC更長。隨著硬碟記錄密度的攀升，512 扇區在碟片上占用的空間越來越小，同樣大小的介質缺陷對總體數據負載損害的百分比越來越高，錯誤修復變的越來越困難。擴大扇區，同時用更長的ECC來提高糾錯能力是解決之道。 機械硬碟的主要優勢在於容量，4K扇區技術是提升硬碟容量的有效手段，遷移到4K扇區是大勢所趨。桌面級硬碟自2011年開始迅速往4K扇區遷移，企業級硬碟的遷移啟動相對較晚。 4K扇區硬碟的分類 在接口層面，主機通過邏輯塊地址（LBA）訪問硬碟扇區。在512扇區時代，LBA與物理扇區一一對應，這類硬碟又稱512N盤，在4K扇區出現之前，只有512N盤，因此作業系統訪問硬碟時默認...
閱讀完整內容