电子书版本下载:http://ebook.cnfan.net/cnfanebook/507.html
本文选自Fred Moore的《制定应用数据保护策略》，这是第五章。本站将陆续登出本书全文，敬请关注。
消减数据的冗余拷贝可以显著地减小存储需求。由于需要更少的磁盘，从而降低了存储开销，减小了耗电量、冷却开销，节约占地面积，缩短了备份/恢复时间，并且由于传输的数据更少，使得基于广域网的灾难恢复可以实现。当每天存在高度重复的数据时，重复数据删除的工作效果体现得最好。多数的数据每天变化并不显著，因此可以从重复数据删除中受益。
在线重复数据删除将到来的数据流进行分段，唯一地标识数据段，并将该数据段与先前存储的数据段进行比较。如果到来的数据段是已存储的数据段的拷贝，该数据段将不被再次存储，而是为其建立一个指针。如果到来的数据段是唯一的，将通过传统的算法对其进行进一步的压缩，实现2 ：1的压缩率，并被存储于为重复数据删除存储指定的磁盘中。
重复数据删除的存储消减程度根据不同的数据类型及存储策略而有所不同。主要提供商初期的实例显示了以下数据消减率形态。通过给定的备份策略，每天进行一次增量备份，每周进行一次全备份，可以将数据消减20倍或者更多。
重复文件删除是又一项空间节约技术，用于消除存储系统中的冗余（重复）文件。通过只存储数据或文件的一个实例，可以显著地减少磁盘空间。例如：如果一个具有每天数据变化率平均值的20G字节的文件或卷，每周进行七次备份，将存储数量极大的不必要的重复数据。这会造成高的存储硬件的开销，而且实时恢复时常常不易找出正确的副本。有什么正当的理由将重复的数据进行七次存储吗？重复数据删除可以避免这些麻烦。重复数据删除算法将对这些数据进行分析，为七组相同数据中的六组建立指针，从而降低总的存储需求。