下面是小编为大家带来的基于伯努利大数定律的云存储数据方法研究,本文共2篇,希望大家能够喜欢!

篇1:基于伯努利大数定律的云存储数据方法研究
基于伯努利大数定律的云存储数据方法研究
摘 要:随着科技水平的提高,对云存储服务的可靠性、安全性和稳定性都有了更高的要求。面对云存储服务,如何优化资源配置,进而提高用户的体验质量,本文提出了基于大数定律的云存储方法,具体方法是用伯努利大数定律按照存储频率,根据历史信息确定用户对资源的需求,然后进行再分配,从而减少了数据访问延迟。
关键词:大数定律;云存储;数据分配
中图分类号:TP399 文献标识码:A
Abstract:with the improvement of science and technology,there are higher requirements for the reliability,security and stability of cloud storage service.In terms of cloud storage service,how to optimize the allocation of resources and to improve the quality of user experience. This paper proposes a method of cloud storage based on the Law of Large Numbers,in which the concrete way is to determine and redistribute users' demand for resources based on the frequency of storage and historical information by means of Bernoulli LLN,thereby reducing the data access delay.
Keywords:Law of Large Numbers (LLN);cloud storage;data distribution
1 引言(Introduction)
云计算的发展在现如今的信息技术中应用越来越广泛,云存储服务[1]也凭借着它的高扩展性、高可靠性、成本低、方便数据管理的诸多优势受到人们的青睐,与云服务相关的产品也越来越受到用户的喜爱。云存储系统[2-4]是一个以数据存储和管理为核心提供云计算能力的高性能计算系统。它可是实现对于海量数据的采集、管理和保护等功能。用户可以通过云存储实现不同区域,不同时间的资源共享和互动,并且通过应用权限的控制、传输加密、信息加密和数据隔离技术这些技术保证数据的安全性。
在享受大量数据在云存储服务中的便利的同时,其对于数据的访问速度也有了更高的要求。由于在云端人们不断的把数据上传保存上去,在海量的存储空间中对数据信息进行存储。随着存储的数据量越来越大,对于数据的访问时间也就越来越长。云存储系统的DBAS结构为B/S三层体系结构,分别是用户层、应用层、数据存储层。在数据存储层存储大量的数据信息和数据逻辑,所有与数据有关的安全、完整性控制、数据的一致性、并发操作都是在这层完成的。B/S结构的特点是分布性强,维护方便、开发简单并且共享性强、总体拥有成本低等特点。但是数据安全性问题,以及数据传输速度慢等的缺点也显而易见。由于系统期望用户可以从云存储中及时的获得想要的数据,因此减少用户在对数据进行访问的时候造成访问延迟成为数据资源分配有待解决的问题。
目前针对云存储中的`数据资源分配问题,研究者们提出了各种不同的云数据存储方案。祁志阳[5]从经济学原理的角度分析了云计算的经济学模型,以用户对资源评价的相似度为约束l件进行资源调度管理,结合经济学的超边际分配方法对资源进行分配的。由于在建模过程中数据是静态的,而在物理环境下数据是动态形式,会造成数据不准备等缺点。Siva ThejaMaguluri[6]根据一个随机的过程,如果作业到达时请求访问资源,采用加入最短的队列算法和MaxWeight调度选择算法,建立了一个负载均衡,以便在资源利用的过程中提高吞吐量。Fabien Hermenier[7]提出了一种通过减少虚拟机迁移和分配到主机的云计算时间的方法,以提升资源利用率。基于此,本文的主要工作要工作有:
(1)通过历史访问痕迹对用户进行分类。由于不同类型用户对于宽带、延迟等的要求不同,所以需要提供的服务也不一样。不同类型用户有不同的需求,可以根据历史信息计算各类型用户需求量。
(2)应用伯努利大数定律确定各类用户对数据的需求,根据需求分配存储资源。
2 数据存储(Data storage)
2.1 云存储数据的资源配置
在云存储数据资源配置的过程中,涉及数据的采集、数据维护、数据的存储方式等多个要素,它们彼此之间的相互协作构成了云存储数据的资源配置过程。然而,不同用户对云存储的资源进行上传和下载的过程中,对资源的需求也不同,对需要云服务数据的配置也会有不同的要求,这样就加大了资源配置的复杂性。从用户的角度来说,对需求的服务造成延时,会降低用户的使用效率,同时,对云存储服务器也会造成负载不均衡的状态。
因此,本文通过访问痕迹对于每一类的数据需求进行分类,在流量约定设置的优先级里,一些特定的网络数据流也需要定义服务质量。比如多媒体数据流要求有保障的通过量;IP电话则需要严格的抖动和延迟限制;在远程外科的手术中则要求有可靠保证的可用性。除了这些特定的数据服务外,对于一般的普通用户而言也需要要有针对性的数据服务。可以通过访问痕迹对每一组数据的内容进行分析,对数据内容可以按兴趣爱好、年龄、性别、工作性质等大致分成几类。对于这些访问的数据用伯努利大数定律计算出每一类的需求量,从而确定服务器存储数据内容的优先级。
根据用QoS服务分析每个传送的报文内容,将这些报文归类到以CoS(分类的标准)值来表示的各个数据流中,对它进行标注。
由于云计算环境具有虚拟化的特点,把硬件物理资源虚拟化为虚拟服务资源,这样可以对虚拟服务资源利用软件程序进行重新配置,并通过配置子程序实现不同用户的需求。
2.2 根据伯努利大数定律计算量建立存储结构
在伯努利大数定律计算的数据量建立的存储结构中,按照计算的数值,云计算服务系统被划分为无数个资源池。这些资源池不只是存储资源,还要对已有的资源池进行管理。每一个资源池里,信息管理系统对资源中分类的数据信息进行统一管理。
如图1所示:客户端和服务端两部分构成了伯努利大数定律计算数值建立的存储结构。
下面给出伯努利大数定律的计算公式:
设定μ是n次独立试验中事件A发生的次数,且事件A在每次试验中发生的概率为P,则对任意正数ε>0,则成立。
其中公式中的n是访问的数据量,μ指的是在n次访问的数据量中某一类型在固定的时间内访问数据的次数,且A是每次实验中发生的概率为P。
相应的根据伯努利大数定律确定的数据量的值确定的存储结构的步骤:
Step1:对参数进行初始化,设定任务的数量和属性;
Step2:根据浏览器的访问记录计算当前的访问数据值;
Step3:根据兴趣爱好,性别、年龄将数据资源划分为几类;
Step4:通过伯努利大数定律计算每一种类型的所占比;
Step5:依据每一种类型的所占总访问量资源的比重重新对云存储数据的方式进行设置。
3 实验与分析(Experiment and analysis)
3.1 实验环境
针对本文所提出的根据伯努利大数定律的云存储数据方法,本文在QoS服务的基础上,通过浏览器的访问数据痕迹进行了仿真实验,并计算了几种不同类型的用户对数据访问量的数值。在实验过程中,主机的内存为8GB,硬盘为520GB,操作系统为windows 10。本文提出的基于伯努利大数定律的云存储模型与文献中[5]的信誉度约束下的超边际约束的云存储资源分配模型与文献[6]最短队列算法进行对比,通过在执行任务的平均时间t和负载均衡度σ作为指标来衡量QoS服务质量的性能。因此有如下定义:
定义1:t表示执行任务的平均时间,在资源上执行任务n所用的整体的时间T,max{tci}表示在任务集T中完成最后一个任务的时间,min{tcj}表示在任务集T的第一个任务开始的时间,则有如下公式:
定义2:σ表示负载均衡度的大小,即云服务资源处理任务所需时间的方差L与带处理任务数n的比值。其中vli表示虚拟机负载量,m表示虚拟资源的数量,avlc表示虚拟服务资源的平均负载值,则:
σ的值越小,说明负载均衡的性能越好。反之,性能越差。
3.2 性能分析
本文选定了50的虚拟服务系统,通过比较伯努利大数定律的云存储数据的方法与信誉度约束超边际分析云存储数据方法和采用Χ潭恿兴惴进行比较。选取50的虚拟服务器,将任务数量从50到1000个独立任务构成的任务集,对执行任务的平均时间t和负载均衡度σ的进行分析得出以下量表数据信息,如图2和图3所示。
图2可以看出:用伯努利大数定律算法比信誉度约束算法和最短队列算法执行任务的平均时间越来越少,曲线也更平稳。
在图3中,最短队列算法的负载均衡度较大,变化幅度也大,不稳定;在信誉度算法和大数定律的算法中两者的负载均衡度差距不是很大,但是大数定律的曲线更平稳。因此,用伯努利大数定律算法能更好的提高资源利用率,是云服务系统的负载均衡达到更好的效果。
仿真结果表明,对于云服务数据存储的资源配置问题,依据伯努利大数定律的数值结果进行分配,使云计算资源节点的使用率达到最佳,减少了延迟,并提升了任务完成时间。
4 结论(Conclusion)
本文分析云服务数据存储方式在资源配置过程存在负载不均衡问题进行了研究,提出了一种基于大数定律的云存储数据方法,给出了思路和过程。通过对历史访问数据的分类和用伯努利大数定律的计算,计算了不同类型的数据访问量的数值,并加以分析。实验表明本方法对数据访问量的计算,可以以此为依据对数据资源进行合理分配。提高了资源利用率,减少访问延迟。
参考文献(References)
[1] 冬瓜头(张东)大话存储II[M].北京:清华大学出版社,:22-24.
[2] MATHER T,KUMARASWAMY S,LATIF S.Cloud security and privacy:an enterprise perspective on risks and compliance[M].Cloud Security and Privacy:An Enterprise Perspective on Risks.Sebastopol,CA:OReilly Media,:35-72.
[3] 傅颖勋,罗圣美,舒继武.安全云存储系统与关键技术综述[J].计算机研究与发展,,50(1):136-145.
[4] 李晖,孙文海,李凤华,等.公共云存储服务数据安全及隐私保护技术综述[J].计算机研究与发展,,51(7):1397-1409.
[5] 祁志阳,马满福.信誉度约束下超边际分析的云存储[D].西北师范大学,.
[6] HuberN,BrosigF,Kounev S.Model-based self-adaptive resource allocation in virtualized environment[J].in:SEAMS,ACM,2011:90-99.
[7] DuPontC,GiulianiG,HermenierF,et al.Anenergyaware framework for virtual machinePlacement in cloud federated data centers[C].Future Energy System:WhereEnergy,Computing and Communication Meet (e-Energy), Third International Conference on.IEEE,2012:1-10.
作者简介:
陈维华(1978-),女,硕士,副教授.研究领域:物联网技术及应用.
何彩虹(1980-),女,硕士,工程师.研究领域:物联网技术及应用.
篇2:研究基于云计算角度下的数据存储安全技术论文
研究基于云计算角度下的数据存储安全技术论文
随着科学技术的日益进步,互联网信息技术得到广泛的应用,云计算也得到较快的发展。云计算作为当今新型的计算机技术,在数据存储安全方面还存在一定的问题未得到充分的解决。根据云计算数据存储安全的现状分析,其研宄内容主要在于数据保护、加密算法、虚拟安全技术等方面,其中数据安全存储是关键部分,本文对云计算环境下数据存储安全的关键技术进行研究,保障用户的信息安全。
1.云计算与云存储的概述
云计算是指通过互联网进行动态的扩展且为虚拟化的资源,随着互联网相关服务的增加,按使用量付费的模式。网络的数据传输功能发展迅速,使得计算机逐渐组成了一个相互关联的集群,并且由统一的数据处理中心进行资源的调配和处理。其具有规模大、形式虚拟、兼容性强等特点。云计算中的关键环节在于云存储,其具有集群应用和分布式文件系统等功能,将网络中不同类型的存储设备通过应用软件进行组合工作,为用户提供业务访问等服务的系统,属于云计算衍生出的新兴的网络存储技术。当云计算系统需要存储和管理大量数据时,系统需要配置存储设备,此时,云存储成为主要进行数据存储和管理的核心云计算系统,方便用户随时随地,通过任何可联网的装置进行信息数据的存取。
2.云数据存储结构
云计算环境下数据存储结构利用了先进的互联网技术,实现了按照用户的网络需求来分配资源。与传统的数据存储结构比较,从服务和实际应用的角度分析,云数据存储是一个硬件的同时还是由客户端程序、访问接口、软件、服务器等设备组成的存储系统。
云数据存储结构通过云计算系统中的应用软件为用户提供数据存储及业务访问等服务,其中,存储层是云数据存储结构的最基层,其主要内容包含存储管理和虚拟化设备,存储层中的存储管理系统用于对硬件设施的维护和升级等功能。管理层是云数据存储结构的核心层,其通过分布式文件系统和集群管理技术进行内容分布和数据备份,具有良好的拓展性,还可以完成云存储系统中的数据加密等任务,符合用户对信息可用性及存储功能的需求。接口层属于云数据存储结构中的重要组成部分,其应有与云计算系统的结构开发与应用,供应商包括网络接入、身份论证、权限管控、应用软件接口等部分,供应商通过接口层为用户设置统一的编程,方便用户自主开发应用程序。云数据存储结构的顶层为访问层,其主要是系统应用程序的入口,用户通过访问层进入云计算系统,实现系统中的资源共享。
3.云计算环境下数据存储安全及其关键内容
3.1 云计算环境下数据存储安全
云计算在其实际应用中存在用户信息遭泄露等不安全问题,因此,云计算环境下数据存储安全问题是当前计算机技术发展过程中面临的挑战。为了降低企业中事务的使用成本,减少繁琐的工作程序,就需要在云数据存储的过程中,确保其安全可靠性,使的云计算系统提供优质的服务。在云计算技术的背景下,通过服务式的操作和存储数据,保证数据的稳定性。虽然个体用户使用的数据由提供商管理,用户存储和使用数据是借助网络服务的,但其数据的安全性也需要由云计算系统统一负责。可以将计算机的使用过程看成一个节点,当这些节点出现安全隐患问题时,就需要采取不同的手段对其进行访问和使用,即保证云计算中的安全存储与数据的传输、恢复联系起来,并且得以稳定的发展。
3.2 云计算环境下数据安全的关键内容
云数据安全的关键内容包括数据传输安全,其主要指在云计算的服务下,用户将数据传输给云计算系统服务商,由服务商进行数据的处理工作。其间,云计算需要确保用户的数据在传输过程中被加密,保证不被泄露。服务商获取用户数据后,按照行业要求进行保存,服务商还需要做到对用户进行权限认证之后再给予访问数据的权利,访问的对象只能访问自身的数据。云数据安全的关键内容包括数据存储安全,其主要指实现系统中存储数据资源共享的模式,在云计算系统服务下,服务商采取必要的手段隔离不同的数据。当用户准确知道其数据存放位置的情况下,服务商还需要保证对用户托管的数据进行了有效的备份,以防出现突发状况时,数据的丢失,云计算服务商需要最大限度地保护用户的数据,使其恢复到初始状态。在系统中,数据的残留极易泄露用户的信息,因此,云计算服务商需要保证为用户提供数据的安全性。云数据安全的关键内容还包括数据审计安全,通过云计算的服务模式,服务商为用户提供必要的信息支持,并且不对其他用户的数据造成威胁。云计算的服务费为保证数据的安全,需要协助第三方机构准确地对数据安全进行审计,保证用户的信息安全性,同时也促进云计算服务系统的健康长远发展。
4.基于云计算的数据存储安全技术
云计算环境下数据存储在保证数据运算效率的同时还需要确保其安全性,因此,服务商在为用户提供云存储服务时,需要对其信息进行加密保护,保证用户的数据出现在任一存储空间中,非授权用户看到的是无序的乱码,确保用户的个人信息不被泄露。在保证云计算服务商真实可信的前提下,需要将提高云计算的系统运算效率和安全性作为主要任务,探宄出适合互联网信息技术发展的数据存储安全技术。
4.1 数据加密技术
目前我国的云存储系统保护隐私数据的能力有限,为保证云存储数据的完整性,用户在使用互联网的同时也需要对自身信息进行有效的加密。云计算系统用户需要提高信息安全意识,加强数据的密钥管理,通过科学的数据加密技术保障云存储系统数据的安全性,提高其使用效率。用户在进行数据加密的过程前,对应的加密算法公钥需要用户端从密匙库中提取,之后应用对称加密的算法,形成具有校验信息的密钥。其中具备校验信息的密钥可以通过非对称的加密算法进行处理,确保其安全性,最后处理好的信息数据作为数据包储存于云端中。在重复加密过程中,保证所有的数据包完成数据加密的行为,方可截止,形成数据加密的'全过程。
4.2 数据隔离技术
在云计算模式的背景下,用户将随意摆放系统中的数据存储结构,因此,会出现多个用户将数据存储于同一个虚拟服务器中的现象。出现此类情况时,用户需要使用数据隔离技术,将自身的信息与其他用户的信息有效的隔离开,保证云计算环境下数据存储的安全性。
4.3 访问权限控制
当用户将数据上传至云计算数据存储系统后,云计算系统的提供商将享有访问该数据的优先权。如果用户需要限制服务商的访问权限,在上传个人数据的同时,需要将该数据的访问优先级别设置为自己,以此确保自身数据在云计算环境下数据存储的安全性。
4.4 数据加密传输
各类数据在云计算系统中的传输是必不可少的,因此,其在传输过程中的安全性是当前面临的大考验。数据的加密传输是指在数据的传输过程中在网络链路层、传输层等区域使用加密技术,以此确保用户数据的可用性和完整性。在数据传输的前期,通过加密协议为用户的数据传输提供加密通道,在数据传输的后期,则采用必要手段防治非法用户对数据的窃取,进而维护用户的数据安全,保证云计算环境下的数据加密传输。
5.结语
随着我国的信息技术不断发展,云计算技术在各行业中得以广泛的应用,其前景广阔。但在云计算的环境下,数据的安全问题成为当前亟待解决的问题。基于云计算的系统模式,构建云数据存储结构,通过数据加密技术、数据隔离技术、访问权限控制、数据加密传输等关键技术确保云计算的数据存储安全,提高云计算的运行效率,推动云存储系统的高效应用,促进我国云计算环境下数据存储结构的不断完善。
文档为doc格式