云计算的关键技术及发展现状论文
居巍杰
摘要:本文给出了云计算的定义,总结了云计算的关键技术,揭示了云计算是多种新技术的综合发展产物,并详细介绍了云计算的发展现状。
关键词:云计算;数据存储;编程模型;云安全
1. 前言
云计算(Cloud Computing)是一种新近提出的计算模式。云计算将待处理的数据送到互联网上的超级计算机集群中进行计算和处理,把互联网变成一种全新的计算平台,能够在网络上实现按需购买与按使用付费的业务模式。自从云计算的概念提出来以后,立刻引起业内各方极大的关注,现在已成为信息领域的研究热点之一。云计算到底是什么?为什么需要云计算?云计算的关键技术有哪些?云计算的发展现状如何?本文将就上述问题展开叙述。
2. 云计算定义
云计算(Cloud Computing)是由分布式计算(Distributed Computing)、并行处理(Parallel Computing)、网格计算(Grid Computing)发展而来的,是一种新兴的商业计算模型。目前,对于云计算的认识在不断地发展变化,云计算仍没有普遍一致的定义。
IBM公司于2007年底宣布了云计算计划,云计算的概念出现在大众面前。在IBM的技术白皮书“Cloud Computing”[1]中的云计算定义:“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态地部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源,例如存储区域网络(SANs)。网络设备,防火墙以及其他安全设备等。云计算在描述应用方面,它描述了一种可以通过互联网Intemet进行访问的可扩展的应用程序。“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联嘲接入设备以及一个标准的浏览器就能够访问
一个云计算应用程序。”
云计算是基于互联网的超级计算模式,包含互联网上的应用服务及在数据中心提供这些服务的软硬件设施,进行统一的管理和协同合作。云计算将IT 相关的能力以服务的方式提供给用户,允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下,通过Internet 获取需要的服务。
通过对云计算的描述,可以看出云计算具有高可靠性、高扩展性、高可用性、支持虚拟技术、廉价以及服务多样性的特点。现有的云计算实现使用的技术体现了以下3个方面的特征[2]:
(1)硬件基础设施架构在大规模的廉价服务器集群之上.与传统的性能强劲但价格昂贵的大型机不同,云计算的基础架构大量使用了廉价的服务器集群,特别是x86架构的服务器.节点之间的巨联网络一般也使用普遍的千兆以太网.
(2)应用程序与底层服务协作开发,最大限度地利用资源.传统的应用程序建立在完善的基础结构,如操作系统之上,利用底层提供的服务来构造应用.而云计算为了更好地利用资源,采用了底层结构与上层应用共同设计的方法来完善应用程序的构建.
(3)通过多个廉价服务器之问的冗余,使用软件获得高可用性.由于使用了廉价的服务器集群,节点的失效将不可避免.并且会有节点同时失效的问题.为此,在软件设计上需要考虑节点之间的容错问题,使用冗余的节点获得高可用性.
3. 云计算关键技术[3][4]
云计算是一种新兴的计算模式,其发展离不开自身独特的技术和所涉及的一系列其他传统技术的支持,并借助SaaS/PaaS/IaaS 等先进的商业模式把这强大的计算能力分布到终端用户手中。
(1)虚拟化技术
虚拟化是实现云计算的'最重要的技术基础,虚拟化技术实现了物理资源的逻辑抽象和统一表示,它是指计算元件在虚拟的基础上而不是真实硬件的基础上运行。通过虚拟化技术可以提高资源的利用率,并能够根据用户业务需求的变化,快速、灵活地进行资源部署,实现动态负载均衡;同时与硬件无关的特性带来系统自愈功能,提升系统的可靠性。在云计算实现中,计算系统虚拟化是一切建立在“云”上的服务与应用的基础。虚拟化技术目前主要应用在CPU、操作系统、
服务器等多个方面,是提高服务效率的最佳解决方案。
(2) 数据存储技术
为保证高可用性、高可靠性和经济性,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性,即为同一份数据存储多个副本。这样用户就无需考虑存储容量、数据存储位置以及数据的安全性和可靠性等问题。
另外,云计算系统需要同时满足大量用户的需求,并行地为大量用户提供服务。因此,云计算的数据存储技术必须具有高吞吐率和高传输率的特点。云计算的数据存储技术的主要代表有谷歌的GFS(Google File System)。IBM 的“蓝云”采用的是HDFS(Hadoop Distributed File System)数据存储技术。此外,一些IT 公司也提出了一些数据存储的解决方案。例如:微软公司提出的Skydrive,惠普公司的Upline 以及Sun 公司的Network.com。
云计算的数据存储技术未来的发展将集中在超大规模的数据存储、数据加密和安全性保证以及继续提高I/O 速率等方面。
(3)数据管理技术
云计算系统对大数据集进行处理、分析,并向用户提供高效的服务,因此,数据管理技术必须能够高效地管理大量的数据。另外,如何在规模巨大的数据中找到特定的数据,也是云计算数据管理技术所必须解决的问题。云计算系统中的数据管理技术主要是Google 的BT(BigTable) 数据管理技术和Hadoop 团队开发的开源数据管理模块HBase。由于管理形式的不同造成传统的SQL 数据库接口无法直接移植到云管理系统中来,目前一些研究在关注为云数据管理提供RDBMS 和SQL 的接口,如基于Hadoop 子项目HBase 和Hive 等。
(4)编程模型
为了使用户能更轻松地享受云计算带来的服务,让用户能利用该编程模型编写简单的程序来实现特定的目的,云计算上的编程模型必须十分简单,必须保证后台复杂的并行执行和任务调度向用户和编程人员透明。当前比较有代表性的是Google 和Hadoop 项目。Google开发了java、Python、C++ 编程工具Map/Reduce,它不仅仅是一种编程模型,同时也是一种高效的任务调度模型,主要用于数据集的并行运算和并行任务的调度处理。这种编程模型并不仅适用于云计算,在多核
和多处理器、cellprocessor 以及异构机群上同样有良好的性能。
(5)云安全
云计算是一种基于互联网的计算模式,提供服务的时候也就不可避免地出现像安全漏洞、信息泄露、恶意攻击和病毒侵害等普遍存在于既有信息系统中的共性安全问题。云安全经过样本收集和MD5 端匹配技术发展阶段,目前已发展到了第三代的可信云安全。可信云安全的特点是网上自动安全检测和防御,客户端可以优化到很小,以提高性能、减少资源消耗。
4. 云计算发展现状
目前,亚马逊,微软,谷歌,IBM,Intel等公司纷纷提出了“云计划”。例如亚马逊的AWS (Amazon Web Services)[5]、IBM和谷歌联合进行的“蓝云”计划等。这对云计算的商业价值给予了巨大的肯定。同时学术界也纷纷对云计算进行深层次的研究。例如谷歌同华盛顿大学以及清华大学合作,启动云计算学术合作计划(Academic Cloud Computing Initiative),推动云计算的普及,加紧对云计算的研究。美国卡耐基梅陇大学等提出对数据密集型的超级计算(DISC:Data Intensive SuperComputing)进行研究,本质上也是对云计算相关技术开展研究。
IDC的调查显示,未来五年云计算服务将急速增长,预期2012年市场规模可达420亿美元。目前企业导入云计算已逐渐普及,并且有逐年成长趋势。估计在2012年,企业投入在云计算服务的支出将占整体IT成本的25%,甚至在2013年提高至IT总支出的三分之一。由此可见,在各大公司以及学术界的共同推动下,云计算技术将会持续发展。
目前中国云计算的讨论多数集中在早期云计算的概念、技术和模式上。早期的云计算是一种动态的、易扩展的、通过互联网提供虚拟化IT 资源和应用的一种计算模式。用户不需要了解云技术内部的细节,也不必具有云内部的专业知识,更不需要直接参与、投入、建设、维护和控制就能直接按需使用并按用量付费。2008 年,IBM在无锡建立了中国第一个云计算中心,在北京IBM中国创新中心建立了第二个云计算中心—IBM大中华区云计算中心。2009 年初,在南京建立国内首个“电子商务云计算中心”。世纪互联推出“CloudEx”产品线,包括完整的互联网主机服务“CloudExComputing Service”、基于在线存储虚拟化的“CloudEx StorageService”等云计算服务。
随着云计算的升温,国内的电信运营商也都积极投入到云计算的研究中,以期通过云计算技术促进网络结构的优化和整合,寻找到新的赢利机会和利润增长点,以实现向信息服务企业的转型。中国移动推出了“大云”(Big Cloud)云计算基础服务平台,中国电信推出了“e云”云计算平台,中国联通则是推出了“互联云”平台。我国企业创造了“云安全”概念,通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,在服务端进行自动分析和处理,再把解决方案分发到客户端。瑞星、趋势等企业都推出了云安全解决方案。
随着云计算的发展,互联网的功能越来越强大,用户可以通过云计算在互联网上处理庞大的数据和获取所需的信息。从云计算的发展现状来看,未来云计算的发展会向构建大规模的能够与应用程序密切结合的底层基础设施的方向发展。不断创建新的云计算应用程序,为用户提供更多更完善的互联网服务也可作为云计算的一个发展方向。
5. 结束语
综上所述,云计算是一种新型的计算模式。它的最主要特征是系统拥有大规模数据集、基于该数据集,向用户提供服务。它使用大量的普通商用机来构建系统,通过冗余存储的方式确保整个系统的可靠性和可用性。与传统超级计算机在底层编程不同,数据密集计算的云系统上使用基于Map-Reduce的高级编程模式。这使得编程人员可以不用考虑底层的并行化方式,专心与程序的逻辑实现。普通用户经过简单的学习,可以编写出满足自身需要的简单程序。
越来越多的IT厂商提出了自己的“云”计划,并投入大量资金推动云计算的发展。这恰恰为云计算提供了良好的发展机遇。虽然现在的云计算并不能完美地解决所有的问题,但是在不久的将来,一定会有越来越多的云计算系统投入实用,云计算系统也会不断地被完善,并推动其他科学技术的发展。
参考文献:
[1] Boss G,Malladi P,Quan D,Legregni L,Hall H.Cloud computing.IBM White Paper,2007.http:
//download.boulder.ibm.corn/ibmdl/pub/soRware/dw/wes/hipods/Cloud_computing_wp_final_80ct.pdf
[2] 陈康, 郑纬民. 云计算:系统实例与研究现状[J]. 软件学报, 2009, 20(5):
【云计算的关键技术及发展现状论文】相关文章:
本文来源:https://www.010zaixian.com/shiyongwen/2296479.htm