大数据云计算的理解篇1

【关键词】云计算技术大数据数据处理

随着物联网、网络、移动通信等的快速发展，特别是互联网的普及使得信息传播的规模和速度呈现几何增长，人们获取信息的途径和方式开始变得异常丰富，人们事实上已经进入了“信息大爆炸”时代。与此同时信息传播的大容量、高效性和准确性也对现有的数据处理体系提出了更高要求。根据大数据摩尔定律，人类世界的数据产生量将按照每两年一倍的速率增长，预计2022年世界数据量将超过35亿GB，“大数据”时代迫在眉睫。“大数据”具有离散型、随机性、发散性、爆发性等特点。近年来，随着云技术的兴起全面革新了传统的数据技术，大容量、多样化、快速处理、信息价值性和准确性为了云技术背景下大数据处理的五大主要特征。如何利用云计算技术对大数据进行高效处理已经成为了信息技术发展亟待解决的关键问题。

1大数据和云计算的关系

云计算技术是指利用集中式远程计算资源池，通过按需分配的方式，为终端用户提供强大而廉价的计算服务技术。云计算技术作为一种数据处理方式，其技术特点包括：一是资源池在物理上是对终端用户完全透明的；二是能够为任何行业提供规模化计算服务，其服务能力可看做是“无限”的；三是其应用部署快速便捷，服务能力和方式是可以完全按照终端客户要求定制的，具有极强的弹性伸缩能力；四是云端数据获取方便，能够资源共享，用户使用成本低廉。

云计算技术是目前最强大的数据存储、传输和处理平台，它是大数据处理的最优选择。云计算能够为大数据提供几乎“无限”的存储空间和处理能力，满足其超大容量存储和超级复杂的处理需求，也是传统存储方式无法实现的。云计算侧重数据的计算处理，而大数据需要强大数据处理能力，因而它是云计算的处理对象。此外大数据所产生的业务需求也为云计算的实现提供了更多的形式。

2基于云计算的大数据处理技术

2.1大数据的采集技术

目前数据采集方式主要分为集中式和分布式两大类。其中分布式的灵活性较强，而集中式的全局性较好。实际上大数据采集的对象通常包括组织内部和相互独立组织间的各类数据，而云计算恰好具有并行处理的优势，因而可采取混合式采集方式能够更加有效地完成数据采集任务。即在各个组织内部采用集中式数据采集方式，通过在组织内配置中心服务器，作为集中式数据注册机构，用于存储和共享内部的数据。在相互独立组织间，采用云计算的集群技术、虚拟化技术等在各独立组织中心服务器间采用分布式采集方式实现数据采集、组织间对接和共享。大数据结构类型包括结构化、半结构和非结构化数据，因而在应用云计算技术进行分布式采集时，可依托其超强的扩展性和容错力，将数据池内数据进行同构化，从而实现数据进行分类存储。

2.2大数据的存储技术

由于超大体量、离散、复杂的数据特点，传统数据存储模式已经难以满足大数据存储要求。一方面单结点的数据仓库在容量上难以满足呈几何增长的数据量，在运行效率上也难以满足大数据的分析处理需求。另一方面传统数据仓库按行存储模式，虽然可以实现大容量索引和视图，但实际操作中其时间和空间过高。而云计算主要采取列式存储模式，即区分数据不同属性，不同属性列都单独存放。云计算中列式存储的优势在于在投影数据时只需查询其属性列，系统处理量和处理效率显著提升。此外按数据属性进行列式存储，数据仓库中相邻列数据的相似性更高，因而能够得到更高的数据压缩率，进一步减少存储所需空间。

2.3大数据的挖掘技术

联机分析能够完成数据的复杂处理，得到直观结果，实现决策性分析。云计算并行模式下联机分析能够基于数据全局，建立多维分析模型对数据进行多维度分析，从而尽可能获得全面的分析结构。由此可见多维度分析是联机分析的重要特征，而云计算技术下数据仓库正好是通过多维数据组织的。

联机分析对数据的处理仅仅只是表面的，其获取的信息价值并不高，难以得到数据深层次的含义与内在关联。而数据挖掘正是在联机分析的基础上，从超大体量的数据仓库中提取数据所蕴含的隐性信息，并将这些信息用规律、概念或是模型等表现出来。基于云计算的数据挖掘主要采用分布式并行挖掘技术。与其他串行方式相比，云计算技术下并行数据挖掘能够利用机器集群拆分分布式系统中的并行任务，并将拆分后的各个任务分别交由不同的机器去处理，从而实现大规模数据处理，其时间成本也大大降低。

2.4大数据的可视化技术

上文所述数据挖掘可实现大数据的深层次、多维度分析，获取更多有用信息。而云计算平台下可视化技术则能够将上述信息具体化，从而使数据及其有关结构的相关信息能够更直观地表现出来，更容易被发觉和理解。可视化技术是指在存储空间中，将数据库及其中数据以图像（图形）的形式表示出来，并在其中再采用其他的分析手段获取图像中所蕴含的未知信息。而原有的数据处理仅仅只能够从数据本身入手，分析和观察数据中的内在信息。云计算下的可视化技术不但能够实现非空间数据的多维度图像显示，而且能够实现检索过程的直观图形显示，从而帮助人们更好地挖掘和理解信息，信息检索效率也大大提升。

3结语

在数据爆炸时代，云计算的出现为大数据的存储和处理提供了可能，也为数据处理系统的功能扩展提供了重要保障。以往的数据管理将收集和存储作为重点，而在云计算模式下，大数据管理将更多地侧重数据分析、挖掘及管理模式的创新。目前数据采集和统计技术已经较为成熟，利用云计算进一步丰富大数据的存储和处理方式，实现更高层次的数据挖掘和可视化将是今后需要解决的问题之一。

参考文献

[1]孟小峰，慈祥.大数据管理：概念，技术与挑战[J].计算机研究与发展，2013，50（1）：146+169.

[2]吴雪琴，基于云计算的大数据信息检索技术研究[J].电脑知识与技术，2014，10（10）：38-41.

[3]迪莉娅.基于云计算的电子政务大数据管理研究[J].信息管理与信息学，2013（12）：50-51.

大数据云计算的理解篇2

关键词：云计算关键技术发展前景

中图分类号：TP3文献标识码：A文章编号：1007-9416（2013）08-0242-01

1引言

随着计算机和网络技术的不断发展深入，各种新兴的应用也开始逐渐兴起。计算资源、数据资源、软件资源等等资源的累积虽然丰富了整个网络资源，但是还是存在着利用率较低的情况。为了解决这一问题，经过了网格计算整合大量闲散资源的历程，现今的提高数据中心的利用率，增强服务质量的云计算开始成为了网络计算新模式。

2何谓云计算

云计算实质上最早出现于JohnMcCrthy这位计算机先驱者的语言中，正是由于这一预言，计算机研究者们开始进行了大量的计算模式，最终形成了云计算技术。对于云计算的定义，并没有一个规范性的标准。例如以美国国家标准与技术研究院对其的定时是认为云计算是一种通过互联网来对资源共享池的访问，并进行大量计算的模式。维基百科对云计算的基本定义为云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备[1]。云计算首先提供的是一种“服务”，用户能够快速的获取自身所需；其次是保证了数据冗余和分布式存储的数据的准确性；再则则是通过云计算系统来提高整个编程模型。云计算能够根据工作负荷的大小来动态的分配资源，通过大规模资源池的共享，来提高资源的利用率，保证了运行成本的下降。

3云计算的关键技术

云计算作为一种新型的计算方式，给互联网技术领域的发展提供了强大的基础。云计算极大降低了互联网建设及其运用维护成本，降低了资源的浪费，推动了各个行业信息化的发展建设。云计算为了实现其功能，在数据中心、数据存储、云安全上拥有其关键的核心技术。

3.1数据中心节能技术

云计算中的资源数量庞大，消耗电能的数量据不完全统计50000个计算节点每年的耗电量大约在1亿千瓦时。为了响应绿色节能号召，解决能耗利用率问题，实施绿色环保节能技术。云计算数据中心的能耗主要在设备和冷却装置中，针对这一想象，计算机设备可以通过数据中心虚拟化的自适应能耗管理系统来解决能耗的管理能力，另外也可以提高和控制CPU的频率来达到；冷却装置则可以通过建立多层次的数据中心来实现冷却装置的设计，考虑到空气流、空间大小、热交换等因素，提高数据中心布局的合理性。

3.2数据存储技术

云计算是一种采用分布式、并行和网格是来存储数的一种计算方式，同一份数据通过多个副本的方式进行存储[2]。云计算能够满足大量用户需要，同时向用户提供服务。云计算的数据存储技术基本上都是以HDFS的数据存储技术，其中GFS是比较经典的数据存储技术。GFS采用分布式数据密集型计算来形成文件系统，通过冗余存储的方式，确保数据的准确性，运用数据的多个副本，保证数据的一致性，从而达到高性能服务。

3.3云安全技术

作为计算技术体系演进的新阶段，云计算时代的到来正在打破以往形成的产业格局甚至是政府监管的传统方式，特别是棱镜门暴露出来的数据安全问题尤其让人担忧。云安全融合了网格计算、并行技术、未知病毒判别等最新的信息安全概念和技术，成为了信息安全的全新体现。云安全通过网状的客户端对网络中的异常行为进行实时监测，并把这些问题及时地输送到服务端进行处理，把处理结果发送到客户端，保证操作的安全性。

云计算是一个庞大的计算系统，关于云计算的关键技术还有数据管理技术、人物管理技术、虚拟机技术等，本文不一一列举说明。

4云计算的发展前景分析

云计算作为互联网变革的核心组成部分，对于整个产业的发展起到了至关重要的作用。云计算的推广普及已逐渐形成规模，尤其是其关键技术所促进的虚拟化、存储和安全，促进了云计算的更加成熟与广泛应用。云计算不仅对企业、个人，甚至对于社会都造成了巨大的影响。云计算把互联网公司的商业模式逐渐变为软件的服务型服务，带动了商业理念的改变。同时为个人的应用提供了较多的便利，多人协作办公、任何地点随时访问、访问网络条件的PC等都可以通过云计算实现。但若干对于整个社会来说，云计算促进了整个信息化时代的到来，为提供企业信息化，推动信息系统向高效低能的绿色环保方向发展[3]。

参考文献

[1]维基百科.云端运算http：///.

大数据云计算的理解篇3

关键词：云计算;大数据;遥感;GIS;集群

中图分类号：G642.0文献标志码：A文章编号：1674-9324（2015）44-0227-02

一、前言

社交网络、视频监控、智慧地球等应用的逐步普及，预示着真正进入一个大数据的时代，而云计算无疑是解决大数据的好方式。云计算提供可用、便捷、按需的网络访问，是传统分布式计算、并行计算、效用计算、网络存储、虚拟化等计算机和网络技术发展融合的产物。

为了适应发展各大高校计算机专业也逐步开设了云计算的课程，但其教学的方式大多还处于基础的理论探讨和现有国外成熟系统的比较分析，使学生很难对云计算有一个直观、透彻的认识。急需要一个云计算的实验教学平台，从理论教学向实践教学转变，才能使学生拨开云计算的“神秘面纱”，走进内部剖析的关键技术。

二、选用遥感云GIS平台作为云计算的实验教学平台的优势

1.遥感云GIS是利用计算机技术对地球表面空间相关地理分布数据进行采集、存储、管理、运算、分析、显示的技术。其天然的海量数据的管理、计算，是云计算的良好的应用背景。

2.经过几十年的发展，已经有较为成功的遥感云计算平台，如googleearth为代表的平台，将全球海量的遥感影像数据放在一个平台上，通过一个轻量级的客户端访问所有数据，能让学生更容易理解。

针对以上情况，本文设计一种开放性的云计算实验教学方案，采用以学生开发为主、教师启发指导为辅的实验教学模式，拓展学生的理论和实践能力。

三、遥感云计算平台系统架构

遥感云计算平台为了应对遥感海量数据存储和高吞吐量的计算的需求，采用“存储―计算”一体化的集群架构，整个集群采用星形拓扑结构，主服务器连接多个节点服务器。主服务器响应外部请求，管理元信息;节点服务器，存储数据和计算工具，避免计算过程中的大量数据迁移、方便性能和存储的扩展。

从逻辑结构上，采用自底向上、层层虚拟化的方式，分别构架资源引擎、数据引擎、计算引擎，最上层采用服务总线统一协调引擎工作并对外提供集群服务。

资源引擎：负责底层所有硬件资源的管理和通讯技术，提供集群文件并行读写的技术支持，使得硬件环境向上透明，上层引擎模块只需要关心逻辑节点，而不再关心硬件服务器。

数据引擎：管理集群内部的所有的遥感、GIS数据的元数据信息，并提供集群数据存储、读取、查询的各种接口，负责数据的迁移、备份、导入、导出等功能。

计算引擎：管理所有的计算工具，进行分布式计算任务的分配、管理等功能。

服务总线：响应来自外部的服务请求，将请求分解到资源、数据和计算，并协调运算，最后响应请求。

在这样的服务体系结构下提供多种遥感云GIS数据服务接口，同时提供二维、三维客户端、智能终端等多种类型的基础功能的客户端。行业应用的开发，只需要根据实际的业务需求在基本客户端的基础上调用数据服务接口进行二次开发，从而大大降低了实验过程中用于基础平台和客户端开发所用的时间。

四、遥感云GIS实验教学方案设计

遥感云GIS实验教学内容主要突出对云计算知识的综合运用能力的培养，通过基于该模拟的云计算平台的实验了解云计算的应用模式，并逐步掌握云计算的内部技术架构。实验包括自主服务搭建、平台服务接口二次开发、计算工具研发等三个方面的内容，从难度上具有一定的层次性，适合不同程度的学生实验。

（一）自主搭建服务

可在虚拟机环境下安装服务器程序，如图2从下到上逐层实现虚拟化，底层服务器节点是单个服务器主要用于存储数据及计算工具之上运行节点守护进程;往上通过四大引擎（资源、数据、计算、可视化）对底层节点实现虚拟化;最上层由主服务和可视化服务对四大引擎实现二次虚拟化，实现对外服务的统一接口;各种客户端通过主服务提供的http接口实现和服务端程序的交互。

学生通过自己动手安装全套遥感服务程序，了解轻量级遥感云服务工作模式，对云计算入门非常有帮助。

（二）平台服务二次开发

该平台的主要功能在于通过网络服务的方式提供基于遥感GIS的二次开发接口，在具体的应用中利用这些接口快速实现遥感服务应用，同时平台提供多种类型的客户端基础模型。

为学生设计多种遥感应用的案例，通过该云服务平台快速完成行业应用的解决方案。

1.林业应用。要求实现对林地区域的管理，以遥感影像作为底图，用矢量数据绘制出林木种类、林区所属等信息，并且在这个基础上实现林区属性数据的查询等功能。利用平台的开放遥感GIS服务接口能够较快速的实现遥感影像及矢量数据的叠加显示，并进行简单的矢量交互查询操作。

2.土地执法应用。通过对某一个区域的不同时间的影像对比，系统自动对变化区域进行提醒报警，方便执法人员主动到现场进行执法调查。该应用利用了调用平台的影像对比工具对指定的影像进行匹配比较，这就是应用了平台的计算服务接口。

3.数字校园应用。主要功能是展示校园的三维场景，在实验中学生自行用3dmax等工具设计学校的建筑物，并导入平台，设定模型的具置。利用平台提供的三维客户端展现在影像地图上的三维场景。该部分的实验主要通过云平台的应用，进一步了解云服务的应用模式，并且在实验开展过程中设计出更多的应用案例，此实验适合具有一定开发能力的学生。

（三）计算工具研发

平台本身除了提供丰富的遥感GIS计算工具之外，也对外开放工具开发接口。设计实验让学生在符合平台工具开发标准的基础上开发自己的处理工具，设计个性化、专业化的数据处理工具，这要求学生具有一定的专业知识，并具有较高的开发能力，对研究生的科研具有帮助。

五、结语

本文提出一种开放性的基于GIS的云计算实验教学方案，涵盖了集群硬件、网络分布计算、遥感GIS大数据存储等关键技术，是对云计算实验教学的一种探索与尝试。通过该实验方案能让学生直接感受到云计算的实际应用，同时激发学生对云计算的学习兴趣。

在近两年的教学过程中，学生基于该实验方案进行设计开发，师生普遍反映对学生云计算的入门和提高有很大的帮助。

参考文献：

[1]任伏虎，王晋年.遥感云服务平台技术研究与实验[J].遥感学报，2012，16（6）.

[2]刘展鑫.基于云计算的GIS架构模式研究[J].黑龙江科技信息，2012，（11）.

[3]范协裕，任应超，杨崇俊，等.基于集群技术的可伸缩云GIS服务平台研究[J].计算机应用研究，2012，29（10）.

[4]丁浩格.云计算环境下虚拟现实实验教学网站的设计与实现[D].漳州：闽南师范大学，2014.

大数据云计算的理解篇4

1引言

云计算是基于下一代互联网的计算系统，提供了方便和可定制的服务供用户访问或者与其他云应用协同工作。云计算通过互联网将云应用连接在一起，向用户提供了在任意地点通过网络访问和存储数据的服务。

通过选择云服务，用户能够将本地数据副本存储在远端云环境中。在云环境中存储的数据能通过云服务提供商提供的服务进行存取。在云计算带来方便的同时，必须考虑数据存储的安全性。如今云计算安全是一个值得注意的问题。如果对数据的传输和存储不采取合适的手段，那么数据处于高风险的环境中，关键数据泄露可能造成非常大的损失。由于云服务向公共用户群提供了访问数据的功能，数据存储可能存在高风险问题。在后续章节中，本文首先介绍了云计算模型，然后针对云计算本身的属性带来的信息安全问题，研究了已有数据安全解决方案的应用范围。

2云计算应用模式

云计算的应用模式主要有软件即服务(SaaS)、平台即服务(PaaS)、基础设施即服务(IaaS)等。在SaaS中，厂商提供服务供客户使用，客户使用服务在云基础架构中运行应用。SaaS相对比较简单，不需要购买任何硬件，使用容易。但是数据全部保存在云端，且存放方式不受用户控制，存在安全隐患。PaaS则通过使用云计算服务商提供的中间件平台开发和测试应用，例如谷歌的AppEngine。由于不同的中间件平台提供的API不一样，同一个应用不能再不同的平台通用，存在一定的兼容性问题。在IaaS模型中，用户可以控制存储设备、网络设备等基础计算架构，或者直接使用服务商提供的虚拟机去满足特定的软件需求，灵活性高但是使用难度也比较大。

随着云计算的蓬勃发展，云计算安全作为不能忽视的层面，应该引起足够的重视。如果对数据的传输和存储不采取合适的手段，那么数据将处于高风险的环境中。由于云计算向用户群提供了访问数据的功能，不论采用三种主要应用模式的任意一种，数据都存储在公共平台中，由此带来了数据存储和传输的安全问题。

3数据安全挑战

3.1数据保障

当多个用户共享同一个资源的时候存在资源误用的风险。为了避免这个风险，有必要对数据存储、数据传输、数据处理等过程实施安全方面的措施。数据的保护是在云计算中最重要的挑战。为了加强云计算的安全，有必要提供认证授权和访问控制的手段确保数据存储的安全。数据安全的主要几个方面：健壮性——使用测试工具检查数据的安全脆弱性，查看云计算应用是否有常见的漏洞，比如跨站脚本、SQL注入漏洞等;保密性——为了保护客户端数据的安全，应当使用资源消耗少的瘦客户端，尽量将客户端的功能精简，将数据的运算放置在云服务端完成;可用性——数据安全中最重要的部分，具体实施情况由厂商和客户直接协商决定。以上措施决定了数据的可用性、可靠性和安全性。

3.2数据正确性

在保证数据安全的同时也要保证数据的正确性。每个在云计算中的事务必须遵守ACID准则保持数据的正确性。否则会造成数据的“脏读”，“幻读”等现象，造成数据的不准确，事后排查花费的代价高。大多数Web服务使用HTTP协议都面临着事物管理的问题。HTTP协议本身并不提供事务的功能，事务的功能可以使用程序内部的机制解决。

3.3数据访问

数据访问主要是指数据安全访问管理机制。在一个公司中，应根据公司的安全条例，给予不同岗位职工特定数据的访问权限，保证该数据不能被公司的其他员工访问。可以使用加密技术保证数据传输安全，采取令牌管理手段提升用户密码的猜解复杂程度。

3.4保密性

由于在云环境中，用户将文本、视频等数据存储在云端，数据保密性成为了一个重要的需求。用户应该了解保密数据的存放情况和数据的访问控制实施情况。

3.5数据隔离

云计算的重要特征之一是多用户租用公共服务或设备。由于公用云向所有用户提供服务的特点，存在数据入侵的可能。通过注入代码等手段，可能造成云端存储的数据被非授权获取。所以有必要将用户数据和程序数据分开存储，增加数据被非授权获取的难度。通常可以通过SQL注入、数据验证等方式验证潜在的漏洞是否存在。

3.6数据备份

云端数据备份主要目的是在数据意外丢失的情况下找。数据丢失是一个很普遍的问题，一份2009年的调查表明，66%的被访者声称个人电脑的文件存在丢失情况。云端数据备份还可以方便将数据恢复到某个时期的版本。云计算作为公用服务，已有大量用户使用网盘将数据副本存储在云端，但是还有很多应用的业务数据未在用户本地设备中存储。无论云端存储数据的性质，云端都应定时将存储的数据备份，保障云服务的正常运行。

3.7法律法规风险

在云计算中，数据有可能分布存储在不同的国家和地区中。当数据被转移到其他的国家和地区中后，必须遵守当地的法律法规。所以在云计算中，存在数据放置地理位置的问题，客户应当知晓数据存储的地理位置防范风险。

4数据安全解决方案

对于数据安全问题，需要方案解决云环境中数据潜在的风险。其中由于云环境的公用特性，数据保密应当作为主要解决目标。针对上节的数据保障、正确性、访问等问题，多位云计算安全专家在不同层面已先后提出了几套完整的解决方案，其目标主要是保证云环境中数据共享的安全性。在不可信的公共云环境中，数据共享的同时保证数据对第三方的保密性。

4.1基本方案

数据加密是一个比较好的保证数据安全的方案。在云端存储数据之前最好能先加密数据。数据的拥有者能将数据的访问权给予特定的用户群体。应当设计一个包括认证、数据加密、数据正确性、数据恢复等功能的模型去保证数据在云端的安全。

为了保证数据不能被非授权访问，将数据加密使其完全对于其他用户无法解析是一个比较好的方法。在上传数据到云端之前，建议用户验证数据是否在本地有完整的备份，可以通过计算文件的哈希值来验证数据是否一致。数据传输应当采用加密方式，防止敏感信息被中间人监听。SaaS要求必须在物理层面和应用层面将不同用户的数据隔离。可以使用采用基于角色的访问控制或者是自主访问控制，以及分布式的访问控制架构控制云计算中的数据访问。一个设计良好的访问控制机制可以极大地保护数据的安全，还可以采用入侵防御系统实时监测网络入侵。入侵防御系统主要功能为识别可疑行为，记录行为的详细信息并试图阻止。

上述基本方案可以解决数据保障、数据正确性、数据访问及保密性等问题。但是，在实际应用中没有考虑效率，仅仅作为基本手段不能满足用户云环境数据共享的特定需求。

4.2属性基加密

属性基加密(Attribute-basedEncryption)相对于传统的公用密钥加密具有很大的优势。传统的公用密钥加密采用公私钥对，公钥加密的信息只能用私钥解密，保证了仅有接收人能得到明文;私钥加密的信息只能用公钥解密，保证了信息的来源。公钥基础设施体系和对称加密方式相比，解决了信息的保密性、完整性、不可否认性问题。属性基加密则在公用密钥加密的基础上，更多考虑了数据共享和访问控制的问题。在属性基加密系统中，密钥由属性集合标识。仅当公私钥对指定的属性相同或者具有规定的包含关系时，才能完成解密密文。例如，用户如果为了数据安全将文档加密，但是需要同公司的人能解密该密文，那么可以设置密钥的属性位“组织”，只有属性位“组织”为该用户公司的密钥才能将该密文解密，不满足条件的密钥则不能解密，如图1所示。

属性基加密分为密钥策略(KP-ABE)和密文策略(CP-ABE)。KP-ABE模式中，密文具有属性集合，解密密钥则和访问控制策略关联。加密方定义了能成功解密密文的密钥需要满足的属性集合。KP-ABE模式适用于用户查询类应用，例如搜索、视频点播等。CP-ABE模式中，加密方定义了访问控制策略，访问控制策略被包含在密文内，而密钥仅仅是属性的集合。CP-ABE模式主要适用于访问控制类应用，例如社交网站、电子医疗等。

属性基加密方式，不仅可以应用在云存储共享中，在审计日志共享方面也有很广泛的应用。审计日志共享大都存在时间段的限制，属性基加密方式可以在密文中添加时间属性位和用户属性，提供对不同用户共享不同时间段日志的功能。属性基加密紧密结合了访问控制的特性，在传统公用密钥的基础上，提高了数据共享的方便程度。

属性基加密虽然提高了数据共享的方便程度，但是没有从根本上解决云环境数据加解密过程中，解密为明文导致的敏感数据泄露问题。

4.3重加密

由于云环境是公用的，用户无法确定服务提供商是否严格的将用户资料保存，不泄露给第三方。所以，当用户之间有在云环境中共享资料的需求时，必须考虑资料的保密性问题。

用户A希望和用户B共享自己的数据，但是不希望直接将自己的私钥Pa给B，否则B能直接用Pa解密自己采用私钥加密的其他数据。对于这种情况，有一些解决方案。

(1)用户A将加密数据从云端取回，解密后通过安全方式(例如采用用户B的公钥加密)发送给用户B。这种方式要求用户A必须一直在线，存在一定的局限性，并且数据量比较大时，本地耗费的计算量可能非常大。

(2)用户A可以将自己的私钥给云服务提供商，要求提供数据共享的服务。在这种情况中，用户A必须相信云端不会将私钥泄露。

(3)用户A可以采用一对一加密机制。A将解密密钥分发给每个想共享数据的用户，A必须针对每个用户生成并存储不同的加密密钥和密文。当新用户数量很多时，这个方案造成了磁盘空间的大量占用，存储数据冗余度高。

重加密(ProxyRe-Encryption)手段可以很好的解决云环境数据共享的问题。重加密手段设立了一个解密。首选A由私钥Pa和B的公钥Pb计算出转换密钥Rk。转换密钥可以直接将由私钥Pa加密的密文转加密为由公钥Pb加密的密文。在转换过程中，A的原始密文不会解密为明文，而转加密后的密文也只能由用户B解密。当用户B想访问A共享的资料时，只需要解密使用Rk将A的密文转换为只有B能解密的密文即可。这种机制保证了包括云在内的所有第三方都不能获取A共享给B的明文，如图2所示。

重加密解决了云环境中数据共享而不泄露明文的基本问题，侧重于数据的保密。该技术手段关注数据的保密性，未考虑实际应用中数据共享方便程度等其他问题。

4.4基于重加密的属性基加密方法

重加密技术可以和在云存储中使用的属性基加密机制结合，属性基加密侧重于加密方面的访问控制，而重加密从加密手段上保证了数据的隐秘性。通过将这两种机制结合，用户可以更加高效的分享数据。数据拥有者可以根据新的访问控制规则生成转换密钥，然后将转换密钥上传至云服务器，服务器将原有的密文转加密为新的密文。新的密文在不影响原有用户解密的情况下，可以使新用户成功解密。而在转换原有密文的整个过程中，服务器无法将密文解密为明文。

该类加密方法既保证了转换效率，又保证了数据的保密性。此类方法中，不考虑抗选择密文攻击的算法计算转换密钥的资源消耗相对较小，考虑了抗选择密文攻击的算法资源消耗量和密钥属性基的大小正相关。

5结束语

虽然云计算是一个带来了很多益处给用户的新兴技术，但它也同时面临着很多安全方面的挑战。本文说明了云计算方面的安全挑战和对应的解决方案，从而降低云计算可能带来的安全风险。为了保证云存储的安全访问，在技术层面，可以采用健壮的数据加密机制;在管理层面，采用合适的令牌管理机制，分发令牌给用户从而保证数据只能被授权的访问。随着云计算的普及，相信云服务提供商和用户对于云环境数据安全方面会越来越重视。在相关安全策略实施后，云计算能在提供良好服务的同时，让用户使用更加放心。

作者简介：

许龙(1988-)，男，湖北人，硕士，公安部第三研究所检测中心;主要研究方向和关注领域：信息安全及相关检测技术。

顾健(1965-)，男，江苏人，博士，研究员，公安部第三研究所检测中心;主要研究方向和关注领域：信息安全。

大数据云计算的理解篇5

关键词云计算；数据存储；分析；计算机

中图分类号：TP393文献标识码：A文章编号：1671-7597（2014）07-0071-02

近年来，云计算越来越多的出现在大家的视野里，人们给予了云计算极大的关注。云计算会代替传统的计算机算法，这一理论也被认为是未来发展的必然趋势。在传统的模式下，工作人员为了使信息进行交互，一般都会在本地进行数据的存储和处理。为了更好的保证数据调取的稳定性，企业需要购买各种硬件、软件基础设施，而且还需要对这些设施进行维护。但是由于存储和处理的数据量在不断的加大，所需要的存储空间就越来越大，这样就会大大提高企业的成本。但是这些并不是企业需要直接面对的，为了完成他们需要完成的业务，却不得不为此投入大量的成本。

随着计算机技术，信息处理技术不断的发展，人们可以不用把大量的数据技术放在自己的计算机上，可以放在别人的计算机上或者是远程的服务器上，因此企业就不需要投入大量的资金购买存储设备，完全可以通过互联网根据自己的需求找到存储在远程设备上的数据，于是云计算初步模型就出现了。

1云计算与云储存

1）云计算。在互联网的技术条件下提供了云计算的一种技术形式，云计算可以提供动态变化的能够伸缩的并且以虚拟为特点的计算模式。“云”就是一种比喻，是一个抽象的概念，实际上是计算机和互联网在起作用。

通过云计算把大量的数据都放在计算机上，这个计算机不是指本地的计算机，而是远程的服务器，企业可以根据自己的实际需求，对计算机的存储系统进行访问，企业可以把大量的信息资源都转换到客观应用上去。也就是说，计算机只是成为了一个简单的终端，不需要进行任何的计算或者是存储，直接把主机功能交给云端。

2）云存储。在云概念的基础上延伸出了一个新的概念那就是云存储，云存储与云概念十分相似，它以分布式文件系统以及网格技术作为基础，以集群应用，借助应用软件把计算机中的各种存储设备进行有效的集中，让彼此能够协同合作。它的功能就是对外提供相关的数据存储以及业务访问。本质上说来，对于当前存储模式的创新就是云存储。云存储也是特殊的构架服务，具体来说，一些广域网或者是互联网对于应用者来说具有透明性。相关的应用程序软件是云存储的关键之处，在存储设备之间进行有机的结合，通过这些有效的软件使设备与设备之间进行服务的转变。

2构建在云环境下的数据存储体系

在实际操作的过程中，数据存储体系包括数据中心和云服务接口以及服务协议等，数据中心是在云环境下实现数据存储的基础，由存储管理、分布式文件体系和存储备份组成。云存储设备既可以是在企业的发展过程中所专门应用的存储设备，也可是PC，这个系统的设计依据的基础是客户机和服务器模式。经过检验这些确实可以完成大量数据的存储工作，并且效果也非常理想。

1）服务器的结构。云计算的组成部分中最重要的是存储服务器架构。在云存储体系构建之前，应该首先构建云存储服务器架构，这个可以根据架构技术来实现，这些架构技术是多样化的。在NAS这个文件存储系统中，每一个节点都是一个相互独立的个体，文件是这个系统中最小的单位。在集群中，如果文件可以完整的保留，那么其数据信息也会有效的保存在集群的特定的点上，文件虽然比较多，但是会被重新定义到一些另外的节点上，这样信息就显得太过繁杂了。在实践的过程中，人们可以发现，SNA作为存储系统的一块儿，如果有某一个文件发出请求，每一个节点都会对该文件的不同数据块进行访问，它能够有效的对用户的某一种需求进行及时的处理。这种存储结构比较适合在云服务器当中使用，它可以在一定的范围内进行扩展，而且传输的效率也比较高。

2）服务器之间的数据传递。在当前的存储系统的环境下，一些存储系统可以进行数据之间的传送协议，异构的平台之间的信息可以进行有效的资源共享。在计算机的网络系统当中，程序和数据库的优化问题是需要我们共同考虑的。在使用数据库的时候，存储过程是必不可少的，它提供了一种更加高级的特性。它可以传递一些函数或者是逻辑表达方式，这样就可以帮助程序人员来处理一些比较复杂的任务。它的存储过程也比一些别的程序快很多，如果存储的过程发生在本地的服务器上，那就可以减少在执行和操作过程中的宽带传输和执行命令的时间。数据库系统可以分页显示数据，执行一个命令会产生几万种结果，这些结果是不可能一次性的直接输出到客户端上，可以采用分页显示来解决这个问题。分页显示主要有两种，一种是在数据库的查询所匹配的记录一下子存储在内存储器当中。另一个是根据用户的需求，从这些匹配的记录当中显示指定的记录。这两者是有一定的区别的，前一种是把所有的记录一次性的写到内存里，再使用分页显示，后一种是指通过指定数量的查询互相匹配的记录然后写入到内存当中，接着分页显示。这个系统使每一个要求只需要返回一个页面的数据，效率大大的提高了。

3关于企业的存储构建方案

1）商业化的云存储系统。在一些数据领域数据库已经研发出一系列的商业化存储产品，主要建立在云存储的相关理论基础上。一些最早就致力于云存储研发的公司推出数项拥有自主知识产权的存储技术，而且还提出了云存储系统的构架方案。从用户的角度出发，在相关协议下可以实现自身数据的存储和提取。可以提供一些简单的队列服务，在一些虚拟的主机之间信息可以互相发送好接收，而且一些支持的服务可以为用户提供专业的存储接口。一些公司希望他们提出的数据库分布式的编程环境，可以适用于本公司的具体情况，还可以适用于云存储的应用开发商提出的关于存储的一些应用服务，可以起到一箭双雕的作用。

2）构建企业自身的数据中心。对于许多大型企业来说，数据的安全性是最重要的，数据中包含着许多客户的信息，这些客户的信息一定不能泄露，泄露了以后就会面临重大的信誉问题，这个时候如果选择的是租用的云存储服务的话，企业许多的数据资料都需要存储在云服务提供的云数据中心，会面临一定的风险性，所以有一些大型的企业转向一些私有的云存储的云服务提供商提供的云数据的中心，借助这个存储设备也需要大量的资金投入，它是借助私云存储提供的存储设备以及冗余备份系统，所以这种结构并不灵活。作为企业可以选择混合云存储方案，可以把与之相关的关键性的数据作为首要的存储，存到私云存储当中，对于其它的一些数据就可以存储在租用的云存储当中，借用这种存储的方法可以实现存储效用利用的最大化。

4云计算的环境下关于数据安全问题

为了保证数据的安全性能我们可以采用加密的方式，对于加密的方法有两种：对称加密和非对称加密。实践证明，对称加密的算法还比较成熟，所以应用的范围比较广泛，这种加密的算法、加密和解密都比较容易实现，所以广泛的应用于大量的数据传输，对于非对称加密来说，可以把传统的密钥分为公开密钥和私有密钥，把加密算法和解密算法分开控制，这样可以在计算方法的复杂程度上确保其的安全性。

1）关于加密。当想要对某一个数据进行加密的时候可以通过对称加密算法密匙生成器，通过密匙生成器来随机生成含有校验信息的密匙，再通过非对称加密算法对所包含的效验信息的密匙进行加密。这样就可以把密文统一打包以后发到用户端供用户们使用，这个密文是经过加密算法处理的。除这些以外，对于一些数据量十分大的用户的数据可以通过对称的加密算法对其进行加密。但是对于一些数据量用户较小的用户可以考虑对一些非对称算法进行加密，将这两种密匙和密文数据一块儿存储起来放到云存储中心，对于那些非加密的密匙以及解密的密匙仅仅需要进行保存就行。

2）关于解密。既然可以加密处理，那么就应该对密匙进行解密，这样密码的设立才会更有意义。在对数据解密的过程中，用户首先需要对对称加密的算法进行解密，这种算法是跟非对称加密相关的。这样就可以对密匙进行还原，然后，被还原的密匙根据对称算法对所提供的数据包进行解密，这样可以把所需要的文件进行还原。两种算法需要配合使用，这样才能最大限度的发挥各自的优点，避免某一种算法的不足导致文件不能安全的进行保密。我们的目的是对数据的安全进行保密，可以通过对称密匙对所有的数据进行加密也可以利用非对称密匙仅仅对一部分密匙进行加密。这两种算法互相结合，有效地解决了云计算中所面临的安全问题。

5结束语

在云计算环境下的数据存储技术给人们带了许多的方便，释放了个人计算机终端的数据存储任务，优化了网络系统结构。云计算环境下数据存储中把对称密匙和非对称密匙结合起来使用，为云环境下的存储技术带来了一定的安全性。这是一种解决安全问题比较可行的方法。随着科技的不断进步，云计算环境下的存储技术一定会有更大的突破，实践应用也一定会更加广泛。

参考文献

[1]李煜民，章才能.谢杰.云计算环境下的数据存储[J].电脑知识与技术，2010（5）：32-34.

[2]陈凤萍.云计算环境下的数据存储技术分析[J].硅谷，2013（17）：43，29.

[3]张庆华.云存储技术在视频监控中的发展与应用[J].中国公共安全（综合版），2013（17）：53-54.

大数据云计算的理解篇6

本文从云计算安全性的角度论述了云数据安全威胁的产生原因和云数据保护的方法。着重介绍了虚拟技术、存储技术、黑客技术、共享技术和数据挖掘技术带来的技术性风险，介绍了传统云数据保护方法的不足和当前先进方法的优势。

【关键词】云计算数据保护安全风险

随着计算机和网络技术的快速发展，云计算将数据资源、存储设备和软件应用成功的融合到一起，为众多用户解决了大数据的存储与管理问题。但近年来，不断频发的云数据被泄露事件引起了所有用户的重视。因此，云数据安全性问题已经成为必须解决的难题。

1云计算服务模式

1.1体系架构

云计算的体系架构分为物理层、核心层、资源框架层、平台开发层以及应用层。物理层是节点服务器向本地提供数据资源服务。维护人员只有定期检查和升级，才能保证物理层的正常运行。核心层服务于分布式系统，主要是管理和监督分布式操作系统中线程和软件运行环境。

资源架构层通过分布式系统向用户提供了IaaS、DaaS和CaaS服务。开发平台层通过应用程序的专用接口为用户终端提供云平台的开发环境。应用层：通过开发平台利用PAAS的环境进行用户的需求开发。

1.2服务形式

云计算的服务形式包括IaaS、PaaS、SaaS和效用计算四种方式。IaaS向使用者提供基础设备的租用服务。IaaS能够减少用户的使用成本并且能够动态扩展。PaaS向使用者提供服务平台的应用以及维护工作。SaaS通过网络向使用者出租服务器上的相关服务。效用计算通过连接各个节点的服务器向用户供应计算资源和服务。

2云数据安全威胁

2.1生命周期

云数据的生命周期包括创建、应用与管理、归档、删除四个阶段，每个阶段都必需虑到数据的安全性。

数据创建是由用户通过云平台服务器来实现的，并保存在云平台服务器中。云平台服务商在创建者授权后获得数据共享的权利。

数据应用与管理是在云平台服务器上进行的。云平台服务器是共享性的云数据平台，如果对数据进行加密操作会引起数据的访问困难，不对数据加密又会带来数据的安全问题。这就要求云平台供应商能够提供安全的访问权限和数据加密措施，来保护存储数据的完整性、安全性和可靠性。

数据归档是把读取量较小的数据存储在云端服务器指定的空间中，来实现长时间的存储。虽然数据归档管理的是陈旧数据，但这些数据仍是非常重要的。数据归档要符合一定的规律性，便于访问，同时数据要有明确的保留期限、访问权限。

数据销毁常用数据删除、硬盘格式化和擦除三种方法。数据删除只是销毁了数据的链接文件指针，而没有对数据存储空间进行清空。硬盘格式化虽然清空了数据存储空间，但会销毁硬盘的所有数据。擦除服务是云端服务器数据管理常用的方法，可以销毁指定空间的数据和链接文件，但误操作后不可恢复。

2.2技术性风险

技术性风险主要包括虚拟技术、存储技术、黑客技术、共享技术、数据挖掘技术的使用致使数据安全性降低。

虚拟技术已经广泛应用于云计算中，它能使不同节点的服务器数据在同一个平台上工作，根据不同访问者的要求进行虚拟机的初始化和云数据计算。由于多个虚拟机在同一个平台上运行，原有数据脱离了硬件的保护，存在争夺服务器数据资源的风险。为了保证云平台服务器的安全性，必须对云数据进行加密和来访者的身份验证。

在进行数据存储时，云平台各个节点的底层是相连的，存储方式非常灵活，操作者不能够完全掌握数据存储在哪个节点的服务器中，不能够控制每个服务器的动态信任边界，这对数据的安全性带来了风险。

在云平台服务器中关键数据被访问量较大，通常存储在活跃的存储空间，这些数据高密度聚合，攻击者能够利用黑客技术跟踪数据流来控制云服务器和客户端，使数据安全性降低。另外如果在云平台某个节点服务器中出现系统故障，黑客能够盗取故障节点数据滞流中的数据密钥，威胁整个云平台中的数据安全。

3云数据保护

3.1传统方法

传统的云数据保护方法主要有访问控制和密文搜索。

访问控制是保证云数据不被非法读取的主要方法。访问控制系统包括访问请求者、被访问的信息和访问控制规则三部分。访问控制系统由授权、权限回收和权限鉴别组成。常用的控制方式有自主访问控制、强制访问控制、角色访问控制。这些控制算法是在证书和PKI系统基础上的，只适用于高级用户，并且不能够解决用户离线授权的问题。

密文搜索的主流技术包括线性搜索、安全索引、排序加密搜索等。线性搜索利用流密码算法，在云计算大数据中效率低下且安全性低。安全索引对文件建立索引，并进行索引加密。该算法在运行过程中会产生大量的逆Hash序列，浪费系统资源。排序加密搜索是通过关键词对多个密文数据进行搜索，并将结果根据相近程度进行排序。这种算法的缺点是每次只能对单个关键词进行搜索，忽略了逆文档频率，效率和准确度低。

3.2当前先进方法

随着云数据安全性研究的不断深入，数据保护的先进技术越来越多。本文介绍了数据隐私保护法和全同态加密法。

数据隐私保护法采用AES算法对数据加密，效率高，速度快。该方法构建了一个安全子系统来解决用户数据的加密和解密问题，云服务商的存储服务器只进行加密数据的存储。访问控制系统对用户的访问进行授权控制，并向安全服务器发出访问请求。安全服务器向访问用户提供服务接口，用户通过这些专用接口访问数据存储与检索服务器数据读取。密钥管理服务器向安全服务器提供用户的加密密钥接口。

全同态加密算法主要包括密钥生成、数据加密、数据解密和评估算法。该方法是数据创建者将数据进行加密后存储在云服务器中，访问者只有获得数据创建者的密钥才能对数据进行解密，从而增加了云数据的安全性。云数据全同态加密由客户端和云端组成，客户端的主要工作是对数据进行加密和解密处理，云端对数据进行存储和管理。在使用过程中，客户端首先要获得云端服务的对称密钥授权，根据密钥对数据进行加密处理后传到云端服务器。当使用云端数据时，客户端通过密钥向服务器提出请求后获得数据，再根据客户端数据解密程序进行解密使用。

4总结

随着云计算的广泛应用和商家追求利益最大化，云计算的安全是一个永无休止的研究，也是制约云计算发展与应用的最大瓶颈。众多的案例已经证明云计算的安全性研究不仅仅是技术的问题，也是管理的问题。

参考文献

[1]赵全营.面向云计算的用户数据安全策略研究[D].大连：大连理工大学，2014.

[2]张朋.云计算中用户数据隐私保护关键技术的研究与应用[D].成都：电子科技大学，2014.

[3]刘邵星.云计算中数据关键技术的研究[D].青岛：青岛科技大学，2014.

作者简介

陆涛（1979-），女，辽宁省本溪市人。硕士学位。主要从事软件开发与应用、信息安全方向。