简介:关于数据完整性方面的的相关大学硕士和相关本科毕业论文以及相关数据完整性论文开题报告范文和职称论文写作参考文献资料下载。
■胡钦超涂晓东
摘 要：在今天这个信息数据爆炸式增长的时代,数据存储的需求和成本也成倍的增长.而且数据管理的成本要比初始购置成本高5 -10倍,所以很多企业将数据交由第三方的外包提供商提供的远端服务器来管理.在这样一个“存储作为一种服务“的外包模式下,客户将数据管理外包给”存储服务供应商”,让其代为存储和管理,这导致存储环境的不可靠性增加.数据完整性是一个存储的安全性和可靠性的一个基本方面.外包存储服务的出现,导致存储出现新的故障模式,在确保数据完整方面出现了新的挑战.本文总结了不可靠存储环境下的进行存储完整性检测的技术.
数据完整性 gmp:全国计算机二级VFP视频教程3.4 索引和3.5 数据完整性 孟帅旗老师主讲
关键字：不可靠存储,完整性检测
中图分类号：TP316
文献标识码：B
文章编号：1673-1131(2010)03-029-05
一、引言
近年来,信息的产生、分析和存档已经达到了历史最高水平,同时,信息存储在企业管理中的重要性也随之增加.大多数企业都期望能够增加和扩大存储需求.存储管理本身就很困难,而伴随着存储系统使用的激增,它正变得越来越具有挑战性.
一个企业的传统做法是为其每个网点购买存储系统或在其数据中心添置设备.这部分将耗费公司很高的成本,不仅很分散,而且还会迅速的增长,不仅是购买专门的存储系统成本高,本地管理、支持、维护存储系统的成本也很高.事实上,存储管理是企业最大的开支之一.据Gartner集团的调查研究,在数据保护和存储管理的成本,是硬件成本的5至7倍,占存储总成本相关论文范文的74%.
为减低成本同时还遵从法规．许多企业选择将数据外包给第三方服务提供商．称为存储服务提供商( StorageService Provider,SSP).SSP是一类提供信息存储空间和相关管理服务的企业,对所存数据进行管理、存档、备份、恢复．并保证信息的安全.几家企业共享存储设备,而且通常只需要有网络连接连到存储供应商的数据中心,这使得公司能够大大削减成本.
企业数据的大量外包,存储环境变得越来越不可靠,使得侦查和阻止恶意行为或误操作尤为重要.在没有安全保证的情况下．客户本心上是不太愿意将自己的敏感数据交给一个第三方来存储管理.此外,一旦外包．数据访问的正确性和私密性（数据的完整性和访问的完整性）越来越成为一个问题.
数据完整性是存储安全性和可靠性的一个基本方面.网络存储技术的出现和日新月异,导致存储出现新的故障模式,在确保数据完整性方面出现了新的挑战.为了检测并保证数据的完整性,涌现出很多的技术方案.本文就简单介绍数据完整性检测．并总结了现有的保证存储数据完整性的技术.
二、数据完整性
数据完整性是一个基础广泛的话题,包括在数据遭到偶然的或者恶意的攻击时,如何维持数据的一致性.数据完整性就是确保用户访问数据的过程中．保证所有数据的正确性.存储中的完整性有不同的概念.文件系统的一致性,是常见的一个.今天大多数的文件系统都带有完整性检测的功能,如Unix中的fsck命令,可以对存储设备进行扫描,来确定数据和元数据之间逻辑上的不一致.这降低了文件被损坏或者系统崩溃时造成磁盘空间浪费的可能性.比如journaling l4I和transactional文件系统这样的比较先进的方法,甚至在出现了意外的系统故障时都能确保文件系统的一致性.文件系统的不一致可能会导致数据损坏,但一般不会造成安全威胁；文件可能会因为系统崩溃造成数据与元数据之间的不一致而无法访问.除了文件系统的不一致,文件中的数据完整性的破坏也是一个重大的问题．亟待存储系统设计人员去解决.即使是一致性非常好的文件系统的数据都有可能被破坏,即使像fsck这样的命令都可能检测不出来.如镜像,奇偶校验,或校验和技术可用于检测的文件级或块级数据的完整性.完整性的执行程序分为两类：数据修改预防和数据修改检测.跟数据的保密性一样．修改预防要求授权用户才能修改文件,并且文件的修改方式必须是被认可的.跟数据保密性不一样的是,保密性只是关于数据是否受到攻击,而数据完整性还要确保数据的正确性.检测方案通常都假设,受到攻击是不可避免的,必须有合适的办法来评估所受到的破坏,然后进行恢复,并将所获经验应用到今后的预防机制中.
对数据进行可靠访问是大多数计算机系统和应用的先决条件.有几个因素会导致数据可能会被意外或未经授权改动.硬件或软件故障可能使得数据不可用.磁盘错误在今天很常见．而且存储软件设计之初时也不会想到用来处理这些错误.数据完整性被小小的破坏了.下,高层软件可能没有及时检测出来．就会造成进一步的数据丢失.例如．在读文件系统mnode的位图时,一个位的翻转就可能会导致文件系统覆盖一个重要文件.因此．及时进行数据完整性的检测,对保证存储数据的可靠性和安全性是至关重要的.恶意攻击也有可能破坏数据的完整性.在过去几年中,对系统进行恶意攻击的数量急剧上升.这其中,一个攻击的主要类型是恶意篡改磁盘数据.一个是获得了管理员权限的攻击者可能会改动系统,如修改系统应用（例如,／bin文件或守护进程）．加入后门或木马,改变文件的内容和属性,访问没有访问权限的文件,等等.
而在不可靠的存储环境下,数据交给异地的外包服务器代为存储和管理,一切都不受数据所有者的控制．从而导致造成数据完整性被破坏的因素就更复杂了.除了服务器管理员的误操作、系统失误或外部恶意攻击之外,服务器也有可能出于经济利益或者其他原因,会恶意篡改客户的数据,这对于客户端来说,同样是毫不知情的.在客户将数据上传到外包服务器．和从服务器下载到本地的时候,数据可能出现丢失截取都且先不论,忽略不计.本文中,对数据完整性分析的范围仅限于用来防止恶意更改或销毁数据的方法.最终的期望是,当用户访问存储的数据时．没有数据遭到未经授权的修改.许多系统保证数据的完整性是通过确保数据源确知.对于存储的数据,数据完整意味着在磁盘上的文件没有被更改.
三、国内外研究现状
验证数据的完整性已经成为在不可靠的服务器上存储数据的关键问题.在P2P存储系统、网络文件系统、长期存档、web服务对象存储,以及数据库系统中,都涉及到这类的问题.在这些系统中,就是在访问数据时进行完整性检测来防止存储服务器篡改伪造数据.
3.1网络文件系统
网络文件系统为网络中的、非本地的文件系统提供一个文件共享的环境,使得在其他设备上的文件和目录同样能被本地的计算机当作本地的文件方便地使用.一般地,文件系统是操作系统的一个组成部分.与非网络文件系统不同,网络文件系统是一个分布式的文件系统,依据一定的协议使不同计算机上的文件可以共享.网络文件系统在提供文件共享的同时,也提供文件的其他管理,如可靠性、文件操作权限等.网络文件系统是实现不可靠存储系统必不可少的组件,位于不可靠存储系统的核心.
Kallahalla提出的PLUTUS,其主要目标是通过让文件所有者可以直接控制文件的授权访问来提供具有高扩展性的密钥管理.磁盘上所有的数据都是加密的,并且密钥管理操作是由客户端来执行的,以减轻服务器磁盘操作的开销.通过使用基于用户的密钥分发方案来使得用户可以对自己的文件自定义安全策略和身份验证机制.,这使得用户承担起密钥管理的主要责任,并使该文件的所有者给那些授权访问者派发适当的密钥.对于那些想要访问文件的用户．需要跟文件所有者联系以便获得密钥.PLUTUS不信任也不能信任文件服务器,因此,只是依靠它来区分读写操作.相反,它使用两种类型的密钥,文件签名密钥和文件验证密钥,分别进行加密.当尝试读取或写入时,用户验证数字签名和文件内容的hash值.如果用户得到的结果跟预期不一致,用户就可以判断该文件已被非法修改.
Goh提出的SiRiUSI方案是在现有的不可靠网络文件系统上加入自己的加密读写文件访问(NFS,CIFS、Yahoo等).通过一个软件后台程序,该系统拦截所有的文件访问系统调用．并进行相应的转换.这个概念是能够建立一个安全的文件共享环境而不会显著改变现有的网络存储介质的性能.SiRiUS在无需进行任何硬件修改就能够对现有的系统提供安全保障,开发人员认为它只是对现有系统提供额外安全保障的“权宜之计”.因为很多时候,企业无法升级其现有系统,必须继续运行,直到时机成熟．SiRiUS就是这样一个过渡方案.除了额外加入的措施．SiRiUS不会对特定的文件系统元数据加密,所以文件系统可以执行标准的完整性检测.SiRiUS对所有的访问控制信息与文件内容进行加密.这有助于使用原有的文件系统的标准备份程序一如果系统必须从崩溃中恢复,所需要的访问信息跟文件都是可用的.SiRiUS可以防止回滚攻击,从而确保用户始终拥有最新版本的文件.在一个用户指定的时间间隔内,用户都可以验证时间戳.
Kim提出的Tripwireln. 9i是一个用户级的工具,用来在预定的时间间隔验证存储文件的完整性.像I3 FSIGFSI、验证校验和的NCryptfs这样的文件系统,都是在线性时间内进行完整性检测.Krohn提出的SUNDR是一个网络文件系统．可以在不可靠的服务器上安全地储存数据,并允许客户只要看到彼此的文件被修改就可以检测未经授权的访问.
3.2 P2P存储系统
对等结构(P2P)从用户的使用方式来看,系统中每个用户既向其他用户提供资源,也从其他用户那里获取资源.从体系结构来看,无中心结构,结点之间对等,通过互相合作来完成用户任务.P2P结构的优点表现在没有中心结点．不易形成系统瓶颈、不易受攻击．可扩展性好,自组织性好.
用P2P的方式在广域网中构建大规模分布式存储系统,将很多机器用对等的方式组织起来共同为用户提供超大容量的数据存储服务,存储结点来自于存储服务方,用户使用存储空间并付费,用户还通过该平台自主寻找其他结点进行数据备份和存储空间交换.
Muthitacharocn提出的lvy是一个多用户读／写P2P文件系统.Ivy没有集中的或专门的组件,它不需要用户完全信任P2P存储系统或文件系统的其他用户,就能保证数据的完整性.Ivy文件系统只提供了日志功能,每一个用户一个日志文件.Ivy将日志存储在DHash分布式哈希表中.每名用户通过查找所有日志数据来找到自己的数据,修改数据时,只需对自己的日志修改.这种安排使得Ivy不用加锁就可以维持元数据的一致性.Ivy用户可以选择哪些日志可信.Ivy使用传统的文件系统接口.当底层的网络是完全连接的．Ivy提供类NFS的语义.Ivy在检测到不一致时,通过提供相关的版本信息来解决.在广域网上的性能测试,显示Ivy要比NFS-1~2至3倍.
Kubiatowicz提出的Occanstore是广域网环境中加密数据备份系统.是一种共享型广域存储系统,它是基于对象的广域网络的存储系统,但Oceanstore中的对象没有模式信息,只是带有标识的数据块,Oceanstore实现用户接口的API,并且在此API基础上可以进一步开发.它可以较多的数据冗余换取系统的安全性系统开销大,存储效率低.
3.3长期存档
归档存储需要保证存储数据（存储服务器存有的数据）的真实性.仅在访问数据时检测数据是否被修改或删除这是不够的,因为这时再恢复丢失或损坏的数据可能为时已晚.归档存储服务器存有大量的数据,其中很少一部分会被访问到.他们持有数据期间,数据可能会因为管理失误而被破坏,例如,备份和恢复,数据转移到新系统等.归档存储有特殊的性能需求.由于文件数据很大而且又存储在异地站点,访问整个文件是会给服务器带来很高的I/O成本很高和很高的带宽要求.定期读一个完整的档案,会大大限制存储的可扩展性.
Ateniese提出的PDP模式,让一个客户将数据存放在一个不可靠的服务器上．验证服务器是否还存有最原始的数据时无需将数据取回.这一模型通过从服务器存有的一个文件中随机抽取几个文件块,生成该文件的存储证据返回给客户,从而大大减少了I/O开销.客户端只需很小的存储空间存放文件的元数据来验证返回回来的证据即可.挑战／响应协议也只需发送接收很小的数据量,最大限度地减少了网络通信量.PDP模型适用于分布广泛的存储系统的大量数据的远程数据完整性检测.这个模型中,服务器端的开销很低（甚至不变）．不随存储数据的规模线性变化.PDP的性能只受磁盘I/O的限制而不受加密计算能力的限制.Maniatis提出的LOCKSS．可以用来保存电子期刊及其它网上发布信息的存档.它由很多的独立、低成本,持久的Web缓存构成,这些缓存的一起工作,使得能够检测及修复文件.这个方案包括了速率限制和入侵检测等技术,从而将受到恶意攻击造成不可挽回的破坏而不被检测出来降低到最小限度.
3.4其它方面的应用
在web服务对象存储,和外包数据库方面也同样存在着数据被删改的安全隐患,完整性检测也同样需要.
Yu merefendi提出的CATSl方案,可以提供强可靠性.CATS服务器在对读写请求进行回复时同时附上操作正确执行的证据,并提供审计和挑战接口,使客户能够验证服务器是否是可靠的.一个不可靠的故障服务器是不能掩盖其恶意行为的,任何客户都能单独验证证据.CATS客户也要对自己的行为负责.客户端不能对其行为进行否认,服务器可以通过客户提交给其他客户的状态声明来验证客户行为对其的影响.在强辨识性和有限写共享环境下,是可以达到强可靠性.
Maheshwari提出的TDB,是一个可靠的外包数据库系统.它利用少量的可靠存储,来保护大量不可靠存储.,该数据库被加密,并且可以用保存在可靠存储中的碰撞避免hash来验证,所以不可靠的程序是无法读取数据库或悄悄修改它.TDB同时使用了加密和hash技术,同时保护了数据和元数据,不像其它一些系统只是依托于传统的数据库系统,同时加密和hash的成本只占总成本的6%.基于日志结构的存储适用于这一系统.通过嵌入在全面位置图的hash树来进行简化对象一旦找到就可以被验证.这一优化延迟和巩固了树的哈希值的向上计算.由于不是马上更新,使用”写时复制”方式创建数据库的状态快照,便于增量备份.初步性能测试结果表明．TDB优于现成的嵌入式数据库系统,使得TDB适用性更广,这个系统性能很强,足以支持更高级别的数据库功能,如备份、索引等.
四、结论
本文对不同的完整性检测机制做了—下总结,分析了来自不同的方面的应用方案：网络文件系统、数据库、存档,等等.这些方案都有一个共同的目标：保护存储的数据不受不可信任的服务的影响.虽然从同一个出发点出发,但是实现这一目标的设计方案千差万别,同时适用的范围、侧重的方面也都不一而同.所有这些例子为潜在用户选择存储介质时提供了很多的选择.对这些系统做直接比较是很困难的,因为方案之间差异太大,但用户可以针对自己的具体问题选择最可行的方案.最安全的解决方案可能是这些系统的结合体.事实上,大多数系统的设计者都声称,其解决方案是一个更大的安全方案的一部分.例如．如果用户可以忍受额外的加密操作带来的时间延迟,那就没有理由不在使用基础方案之外不对数据进行加密.这样就不用依赖可靠的服务器来提供加密安全性,而且还会提高可用度.唯一的问题是,可能会牺牲其性能.因此设计要求就要在安全性和性能之间做权衡.
五、展望
外包存储是网络存储系统的新发展．是存储技术与高速网络技术的结合,其安全问题涵盖了网络安全和存储系统安全的各个方面,主要包括认证、授权、数据完整性保证和信息保密等：涉及了硬件层、传输层、用户识别层、用户管理层、数据管理层等多个层次,且各层次互相混杂、互相依赖、互相配合工作；同时外包存储系统中存在不安全的传输、假冒的合法用户、数据的非法泄露等安全问题,安全种类多、层次复杂、防范困难等特性.目前国内外的存储安全系统的研究均是在某一特定条件下研究针对某一方面的安全问题,研究内容分散.但就数据完整性检测方案的研究方案,也只能做到完整性检测,很难兼顾到其他的安全方面.整体安全模型的缺失是当前存储安全研究中的重大缺陷.
针对目前不可靠存储系统中存在的问题,未来的研究有三个发展方向,即层次化、专用化和主动化.对存储系统进行分层,简化明确每层完成的安全功能,每个层次的安全功能互相协同成为全局的安全机制.在层次化基础上．研究针对各层特点的专用策略,使其具有专用性强、效率高个可靠性高等特点.此外,随着处理器技术的飞速发展和论文范文的急速下降．通过在磁盘上涉及实现各种高效的安全机制,实现磁盘数据安全保护的主动.
作者简介
胡钦超（1984 -）,女,山东淄博,硕士研究生.研究方向为网络存储；
涂晓东（1970 -）,男,四川泸州,博士,副教授.研究方向为网络存储.
总结：本论文可用于数据完整性论文范文参考下载，数据完整性相关论文写作参考研究。
数据完整性 gmp引用文献:
[1] 药品和数据完整性论文范文 关于药品和数据完整性研究生毕业论文范文5000字
[2] 算法硕士毕业论文范文 电力工程和数据完整性论文范文数据库2万字
[3] 大数据营销学论文选题 大数据营销专业论文题目怎么拟
