云计算大数据核心问题

A. 云计算时代大数据遇到哪些困难

现阶断大数据的困难主要在如下几点：
1、信息壁垒降低了大数据产业专资源配置效率。大数据属产业发展必须实现数据信息的自由流动和共享，如果数据不开放、不共享，数据整合就不能实现，数据价值也会大大降低。
2、 政府部门是社会信息的主要控制者，其信息又分别被不同部门和区域控制，而不同部门和区域间的数据标准各异，信息资源也就难以实现共享。
3、数据安全管理薄弱增加了大数据产业的发展风险。
数据安全和隐私保护是大数据产业发展的世界性难题，这主要体现在三个方面：其一，数据的海量存储增加了数据安防的难度，可能造成大量数据损坏或丢失，造成难以想象的后果；其二，在大数据时代，数据的多元性和复杂性要求人们形成更强的安全意识，但现实中不论企业还是个人的安全意识还没有从传统的非信息时代转变过来，存在巨大潜在风险；其三，网络攻击带来了数据安全风险，随着大数据在政府、金融、公共事业等领域的广泛运用，数据泄露带来的损失远远超出行业范畴，而是全局性的国家安全问题。

B. 大数据的七大核心价值

大数据的七大核心价值

随着移动互联网的飞速发展，信息的传输日益方便快捷，端到端的需求也日益突出，纵观整个移动互联网领域，数据已被认为是继云计算、物联网之后的又一大颠覆性的技术性革命，毋庸置疑，大数据市场是待挖掘的金矿，其价值不言而喻。可以说谁能掌握和合理运用用户大数据的核心资源，谁就能在接下来的技术变革中进一步发展壮大。

大数据，可以说是史上第一次将各行各业的用户、方案提供商、服务商、运营商以及整个生态链上游厂商，融入到一个大的环境中，无论是企业级市场还是消费级市场，亦或政府公共服务，都正或将要与大数据发生千丝万缕的联系。

近期有不少文章畅谈大数据的价值，以及其价值主要凸显在哪些方面，这里我们对大数据的核心具体价值进行了分门别类的梳理汇总，希望能帮助读者更好的获悉大数据的大价值。

核心价值究其用户到底是谁？

谈及价值，首先必须要弄清楚其用户到底是谁？有针对企业数据市场的，还有针对终端消费者的，还有针对政府公共服务的；其次要弄清楚大数据核心价值的表现形式、价值的体现过程以及最后呈现的结果。

商业的发展天生就依赖于大量的数据分析来做决策，对于企业用户，更关心的还是决策需求，其实早在BI时代这就被推上了日程，经过十余年的探索，如今已形成了数据管理、数据可视化等细分领域，来加强对决策者的影响，达到决策支持的效果。还有企业营销需求，从本质上来说，主要聚焦在针对消费者市场的精准营销。

对于消费者用户，他们对大数据的需求主要体现在信息能按需搜索，并能提供友好、可信的信息推荐，其次是提供高阶服务，例如智能信息的提供、用户体验更快捷等等。

还有，大数据也不断被应用到政府日常管理和为民服务中，并成为推动政府政务公开、完善服务、依法行政的重要力量。从户籍制度改革，到不动产登记制度改革，再到征信体系建设等等都对数据库建设提出了更高的目标要求，而此时的数据库更是以大数据为基础的，可见，大数据已成为政府改革和转型的技术支撑杠杆。

数据，除了它第一次被使用时提供的价值以外，那些积累下来的数据海洋并不是无用的废物，它还有着无穷无尽的“剩余价值”，关于这一点，人们已经有了越来越多的认识。事实上，大数据已经开始并将继续影响我们的生活，接下来让我们共同探索大数据的核心价值吧！当然这是需要借助于一些具体的应用模式和场景才能得到集中体现的。

《大数据时代》一书作者维克托认为大数据时代有三大转变：“第一，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不是依赖于随机采样。更高的精确性可使我们发现更多的细节。第二，研究数据如此之多，以至于我们不再热衷于追求精确度。适当忽略微观层面的精确度，将带来更好的洞察力和更大的商业利益。第三，不再热衷于寻找因果关系，而是事物之间的相关关系。例如，不去探究机票价格变动的原因，但是关注买机票的最佳时机。”大数据打破了企业传统数据的边界，改变了过去商业智能仅仅依靠企业内部业务数据的局面，而大数据则使数据来源更加多样化，不仅包括企业内部数据，也包括企业外部数据，尤其是和消费者相关的数据。

随着大数据的发展，企业也越来越重视数据相关的开发和应用，从而获取更多的市场机会。

一方面，大数据能够明显提升企业数据的准确性和及时性；此外还能够降低企业的交易摩擦成本；更为关键的是，大数据能够帮助企业分析大量数据而进一步挖掘细分市场的机会，最终能够缩短企业产品研发时间、提升企业在商业模式、产品和服务上的创新力，大幅提升企业的商业决策水平，降低了企业经营的风险。

一、大数据助企业挖掘市场机会探寻细分市场

大数据能够帮助企业分析大量数据而进一步挖掘市场机会和细分市场，然后对每个群体量体裁衣般的采取独特的行动。获得好的产品概念和创意，关键在于我们到底如何去搜集消费者相关的信息，如何获得趋势，挖掘出人们头脑中未来会可能消费的产品概念。用创新的方法解构消费者的生活方式，剖析消费者的生活密码，才能让吻合消费者未来生活方式的产品研发不再成为问题，如果你了解了消费者的密码，就知道其潜藏在背后的真正需求。大数据分析是发现新客户群体、确定最优供应商、创新产品、理解销售季节性等问题的最好方法。

在数字革命的背景下，对企业营销者的挑战是从如何找到企业产品需求的人到如何找到这些人在不同时间和空间中的需求；从过去以单一或分散的方式去形成和这群人的沟通信息和沟通方式，到现在如何和这群人即时沟通、即时响应、即时解决他们的需求，同时在产品和消费者的买卖关系以外，建立更深层次的伙伴间的互信、双赢和可信赖的关系。

大数据进行高密度分析，能够明显提升企业数据的准确性和及时性；大数据能够帮助企业分析大量数据而进一步挖掘细分市场的机会，最终能够缩短企业产品研发时间、提升企业在商业模式、产品和服务上的创新力，大幅提升企业的商业决策水平。因此，大数据有利于企业发掘和开拓新的市场机会；有利于企业将各种资源合理利用到目标市场；有利于制定精准的经销策略；有利于调整市场的营销策略，大大降低企业经营的风险。

企业利用用户在互联网上的访问行为偏好能为每个用户勾勒出一副“数字剪影”，为具有相似特征的用户组提供精确服务满足用户需求，甚至为每个客户量身定制。这一变革将大大缩减企业产品与最终用户的沟通成本。例如：一家航空公司对从未乘过飞机的人很感兴趣（细分标准是顾客的体验）。而从未乘过飞机的人又可以细分为害怕飞机的人，对乘飞机无所谓的人以及对乘飞机持肯定态度的人（细分标准是态度）。在持肯定态度的人中，又包括高收入有能力乘飞机的人（细分标准是收入能力）。于是这家航空公司就把力量集中在开拓那些对乘飞机持肯定态度，只是还没有乘过飞机的高收入群体。通过对这些人进行量身定制、精准营销取得了很好的效果。

二、大数据提高决策能力

当前，企业管理者还是更多依赖个人经验和直觉做决策，而不是基于数据。在信息有限、获取成本高昂，而且没有被数字化的时代，让身居高位的人做决策是情有可原的，但是大数据时代，就必须要让数据说话。

大数据能够有效的帮助各个行业用户做出更为准确的商业决策，从而实现更大的商业价值，它从诞生开始就是站在决策的角度出发。虽然不同行业的业务不同，所产生的数据及其所支撑的管理形态也千差万别，但从数据的获取，数据的整合，数据的加工，数据的综合应用，数据的服务和推广，数据处理的生命线流程来分析，所有行业的模式是一致的。

这种基于大数据决策的特点是：一是量变到质变，由于数据被广泛挖掘，决策所依据的信息完整性越来越高，有信息的理性决策在迅速扩大，拍脑袋的盲目决策在急剧缩小。二是决策技术含量、知识含量大幅度提高。由于云计算出现，人类没有被海量数据所淹没，能够高效率驾御海量数据，生产有价值的决策信息。三是大数据决策催生了很多过去难以想象的重大解决方案。如某些药物的疗效和毒副作用，无法通过技术和简单样本验证，需要几十年海量病历数据分析得出结果；做宏观经济计量模型，需要获得所有企业、居民以及政府的决策和行为海量数据，才能得出减税政策最佳方案；反腐倡廉，人类几千年历史都没解决，最近通过微博和人肉搜索，贪官在大数据的海洋中无处可藏，人们看到根治的希望等等。

如果在不同行业的业务和管理层之间，增加数据资源体系，通过数据资源体系的数据加工，把今天的数据和历史数据对接，把现在的数据和领导和企业机构关心的指标关联起来，把面向业务的数据转换成面向管理的数据，辅助于领导层的决策，真正实现了从数据到知识的转变，这样的数据资源体系是非常适合管理和决策使用的。

在宏观层面，大数据使经济决策部门可以更敏锐地把握经济走向，制定并实施科学的经济政策；而在微观方面，大数据可以提高企业经营决策水平和效率，推动创新，给企业、行业领域带来价值。

三、大数据创新企业管理模式，挖掘管理潜力

当下，有多少企业还会要求员工像士兵一样无条件服从上级的指示？还在通过大量的中层管理者来承担管理下属和传递信息的职责？还在禁止员工之间谈论薪酬等信息？《华尔街日报》曾有一篇文章就说，NO。这一切已经过时了，严格控制，内部猜测和小道消息无疑更会降低企业效率。一个管理学者曾经将企业内部关系比喻为成本和消耗中心，如果内部都难以协作或者有效降低管理成本和消耗，你又如何指望在今天瞬息万变的市场和竞争环境下生存、创新和发展呢？

我们试着想想，当购物、教育、医疗都已经要求在大数据、移动网络支持下的个性化的时代，创新已经成为企业的生命之源，我们还有什么理由还要求企业员工遵循工业时代的规则，强调那种命令式集中管理、封闭的层级体系和决策体制吗？当个体的人都可以通过佩戴各种传感器，搜集各种来自身体的信号来判断健康状态，那样企业也同样需要配备这样的传感系统，来实时判断其健康状态的变化情况。

今天信息时代机器的性能，更多决定于芯片，大脑的存储和处理能力，程序的有效性。因而管理从注重系统大小、完善和配合，到注重人，或者脑力的运用，信息流程和创造性，以及职工个性满足、创造力的激发。

在企业管理的核心因素中，大数据技术与其高度契合。管理最核心的因素之一是信息搜集与传递，而大数据的内涵和实质在于大数据内部信息的关联、挖掘，由此发现新知识、创造新价值。两者在这一特征上具有高度契合性，甚至可以标称大数据就是企业管理的又一种工具。因为对于任何企业，信息即财富，从企业战略着眼，利用大数据，充分发挥其辅助决策的潜力，可以更好地服务企业发展战略。

大数据时代，数据在各行各业渗透着，并渐渐成为企业的战略资产。数据分析挖掘不仅本身能帮企业降低成本：比如库存或物流，改善产品和决策流程，寻找到并更好的维护客户，还可以通过挖掘业务流程各环节的中间数据和结果数据，发现流程中的瓶颈因素，找到改善流程效率，降低成本的关键点，从而优化流程，提高服务水平。大数据成果在各相关部门传递分享，还可以提高整个管理链条和产业链条的投入回报率。

四、大数据变革商业模式催生产品和服务的创新

在大数据时代，以利用数据价值为核心，新型商业模式正在不断涌现。能够把握市场机遇、迅速实现大数据商业模式创新的企业，将在IT发展史上书写出新的传奇。

大数据让企业能够创造新产品和服务，改善现有产品和服务，以及发明全新的业务模式。回顾IT历史，似乎每一轮IT概念和技术的变革，都伴随着新商业模式的产生。如个人电脑时代微软凭借操作系统获取了巨大财富，互联网时代谷歌抓住了互联网广告的机遇，移动互联网时代苹果则通过终端产品的销售和应用商店获取了高额利润。

纵观国内，以金融业务模式为例，阿里金融基于海量的客户信用数据和行为数据，建立了网络数据模型和一套信用体系，打破了传统的金融模式，使贷款不再需要抵押品和担保，而仅依赖于数据，使企业能够迅速获得所需要的资金。阿里金融的大数据应用和业务创新，变革了传统的商业模式，对传统银行业带来了挑战。

还有，大数据技术可以有效的帮助企业整合、挖掘、分析其所掌握的庞大数据信息，构建系统化的数据体系，从而完善企业自身的结构和管理机制；同时，伴随消费者个性化需求的增长，大数据在各个领域的应用开始逐步显现，已经开始并正在改变着大多数企业的发展途径及商业模式。如大数据可以完善基于柔性制造技术的个性化定制生产路径，推动制造业企业的升级改造；依托大数据技术可以建立现代物流体系，其效率远超传统物流企业；利用大数据技术可多维度评价企业信用，提高金融业资金使用率，改变传统金融企业的运营模式等。

过去，小企业想把商品卖到国外要经过国内出口商、国外进口商、批发商、商场，最终才能到达用户手中，而现在，通过大数据平台可以直接从工厂送达到用户手中，交易成本只是过去的十分之一。以我们熟悉的网购平台淘宝为例，每天有数以万计的交易在淘宝上进行，与此同时相应的交易时间、商品价格、购买数量会被记录，更重要的是，这些信息可以与买方和卖方的年龄、性别、地址、甚至兴趣爱好等个人特征信息相匹配。运用匹配的数据，淘宝可以进行更优化的店铺排名和用户推荐；商家可以根据以往的销售信息和淘宝指数进行指导产品供应、生产和设计，经营活动成本和收益实现了可视化，大大降低了风险，赚取更多的钱；而与此同时，更多的消费者也能以更优惠的价格买到了更心仪的产品。

维克托曾预言2020年，大数据时代就会真正来临。在那个时候，最经常会用到的应用就是个性化生活所需要的，尤其是智能手机的应用。

五、大数据让每个人更加有个性

对个体而言，大数据可以为个人提供个性化的医疗服务。比如，我们的身体功能可能会通过手机、移动网络进行监控，一旦有什么感染，或身体有什么不适，我们都可以通过手机得到警示，接着信息会和手机库进行对接或者咨询相关专家，从而获得正确的用药和其他治疗。

过去我们去看病，医生只能对我们的当下身体情况做出判断，而在大数据的帮助下，将来的诊疗可以对一个患者的累计历史数据进行分析，并结合遗传变异、对特定疾病的易感性和对特殊药物的反应等关系，实现个性化的医疗。还可以在患者发生疾病症状前，提供早期的检测和诊断。早期发现和治疗可以显著降低肺癌给卫生系统造成的负担，因为早期的手术费用是后期治疗费用的一半。

还有，在传统的教育模式下，分数就是一切，一个班上几十个人，使用同样的教材，同一个老师上课，课后布置同样的作业。然而，学生是千差万别的，在这个模式下，不可能真正做到“因材施教”。

如一个学生考了90分，这个分数仅仅是一个数字，它能代表什么呢？90分背后是家庭背景、努力程度、学习态度、智力水平等，把它们和90分联系在一起，这就成了数据。大数据因其数据来源的广度，有能力去关注每一个个体学生的微观表现：如他在什么时候开始看书，在什么样的讲课方式下效果最好，在什么时候学习什么科目效果最好，在不同类型的题目上停留多久等等。当然，这些数据对其他个体都没有意义，是高度个性化表现特征的体现。同时，这些数据的产生完全是过程性的：课堂的过程，作业的情况，师生或同学的互动情景……而最有价值的是，这些数据完全是在学生不自知的情况下被观察、收集的，只需要一定的观测技术与设备的辅助，而不影响学生任何的日常学习与生活，因此它的采集也非常的自然、真实。

在大数据的支持下，教育将呈现另外的特征：弹性学制、个性化辅导、社区和家庭学习、每个人的成功……大数据支撑下的教育，就是要根据每一个人的特点，释放每一个人本来就有的学习能力和天分。

此外，维克托还建议中国政府要进一步补录数据库。政府以前提供财政补贴，现在可以提供数据库，打造创意服务。在美国就有完全基于政府提供的数据库，如为企业提供机场、高速公路的数据，提供航班可能发生延误的概率，这种服务这可以帮助个人、消费者更好地预测行程，这种类型的创新，就得益于公共的大数据。

六、智慧驱动下的和谐社会

美国作为全球大数据领域的先行者，在运用大数据手段提升社会治理水平、维护社会和谐稳定方面已先行实践并取得显着成效。

近年来，在国内，“智慧城市”建设也在如火如荼的开展。截止去年底，我国的国家智慧城市试点已达193个，而公开宣布建设智慧城市的城市超过400个。智慧城市的概念包含了智能安防、智能电网、智慧交通、智慧医疗、智慧环保等多领域的应用，而这些都要依托于大数据，可以说大数据是“智慧”的源泉。

在治安领域，大数据已用于信息的监控管理与实时分析、犯罪模式分析与犯罪趋势预测，北京、临沂等市已经开始实践利用大数据技术进行研判分析，打击犯罪。

在交通领域，大数据可通过对公交地铁刷卡、停车收费站、视频摄像头等信息的收集，分析预测出行交通规律，指导公交线路的设计、调整车辆派遣密度，进行车流指挥控制，及时做到梳理拥堵，合理缓解城市交通负担。

在医疗领域，部分省市正在实施病历档案的数字化，配合临床医疗数据与病人体征数据的收集分析，可以用于远程诊疗、医疗研发，甚至可以结合保险数据分析用于商业及公共政策制定等等。

伴随着智慧城市建设的火热进行，政府大数据应用已进入实质性的建设阶段，有效拉动了大数据的市场需求，带动了当地大数据产业的发展，大数据在各个领域的应用价值已得到初显。

七、大数据如何预言未来？

著名的玛雅预言，尽管背后有着一定的天文知识基础，但除催生了一部很火的电影《2012》外，其实很多人的生活尚未受到太大的影响。现在基于人类地球上的各种能源存量，以及大气受污染、冰川融化的程度，我们获取真的可以推算出按照目前这种工业生产、生活的方式，人类在地球上可以存活的年数。《第三次工业革命》中对这方面有很深入的解释，基于精准预测，发现现有模式是死路一条后，人类就可以进行一些改变，这其实就是一种系统优化。

这种结合之前情景研究，不断进行系统优化的过程，将赋予系统生命力，而大数据就是其中的血液和神经系统。通过对大数据的深入挖掘，我们将会了解系统的不同机体是如何相互协调运作的，同样也可以通过对他们的了解去控制机体的下一个操作，甚至长远的维护和优化。从这个角度讲，基于网络的大数据可以看作是人类社会的神经中枢，因为有了网络和大数据人类社会才开始灵活起来，而不像以前那么死板。基于大数据，个体之间相互连接有了基础，相互的交互过程得到了简化，各种交易的成本减少很多。厂家等服务提供方可以基于大数据研发出更符合消费者需求的服务，机构内部的管理也更为细致，有了血液和神经系统的社会才真的拥有生命活力。

结语

透过以上这些行业典型的大数据应用案例和场景，不难悟出大数据的典型的核心价值。大数据是看待现实的新角度，不仅改变了市场营销、生产制造，同时也改变了商业模式。数据本身就是价值来源，这也就意味着新的商业机会，没有哪一个行业能对大数据产生免疫能力，适应大数据才能在这场变革中继续生存下去。

当下，正处于数据大爆发的时代，如何获取这些数据并对这些数据进行有效分析就显得尤为重要。各种企业机构之间的竞争非常残酷。如何基于以往的运行数据，对未来的运行模式进行预测，从而提前进行准备或者加以利用、调整，对很多企业机构其实是一种生死存亡的问题。这样一种情况同样适用于国家级别。正因为这一点，目前无论是在企业级别还是国家级别都开始研究、部署大数据。

可见，大数据应用已经凸显出了巨大的商业价值，触角已延伸到零售、金融、教育、医疗、体育、制造、影视、政府等各行各业。你可能会问这些具体价值实现的推动者有哪些呢？就是所谓的大数据综合服务提供商，从实践情况看，主要包括大数据解决方案提供商、大数据处理服务提供商和数据资源提供商三个角色，分别向大数据的应用者提供大数据服务、解决方案和数据资源。

未来大数据还将彻底改变人类的思考模式、生活习惯和商业法则，将引发社会发展的深刻变革，同时也是未来最重要的国家战略之一。

以上是小编为大家分享的关于大数据的七大核心价值的相关内容，更多信息可以关注环球青藤分享更多干货

C. 大数据云计算在这个新时代怎么样

大数据和云计算未来的发展前景还是被广泛看好的。
大数据与云计算之间的关系非常紧密，可以说是一种“伴生”关系，云计算中涉及到的分布式存储和分布式计算也正是大数据所关注的核心问题。但是云计算的核心是服务，而大数据的核心则是数据价值化，所以云计算和大数据在定位上还是有明显区别的。
其次，大数据和云计算的应用价值决定了其广泛的应用液困羡场景。云计算通过互联网为用户提供极其廉价的计算资源，可以说云计算降低了尺答企业的成本，同时云计算整合了众多的服务资源，为开发者节省了大量的成本，所以云计算对企业来说有非常大的实际应用价值。这个应用的价值促使了云计算目前被广泛使用，尤其是中小型企业。
大数据的应用价值则体现在场景分析及应用上，目前大数据的价值主要还是在大数据场景分析上，目标主体是人，未来大数据的一个重要应用将会是各种“智能体”，大数据为智能体提供决策的数据支撑，这是大数据的一个重要的价值。
目闹拍前大数据的应用还处在初期阶段，产业链也正在逐渐形成，未来随着大数据的逐渐落地，大数据领域将爆发出更多的岗位需求。

D. 云计算的核心技术是什么

云计算系统核心技术：并行计算。并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成念友若干个部分，各部分均由一个独立的处理灶高困机来并行计算。并行计算系统既可以是专门设计的、含有多个处理器的超级计算机，也可以是以某种方式互连的若干台的独立计算机构成的集群。通过并行计算集群完成数据的处理，隐念再将处理的结果返回给用户。

E. 云计算与大数据存在何种安全隐患，如何避免

虚拟化安全问题

利用虚拟化带来的可扩展性有利于加强在基础设施平台软件层面提供多租户云服务的能力但虚拟化技术也会带来以下安全问题

如果物理主机受到破坏其所管理的虚拟服务器由于存在和物理主机的交流有可能被攻克若物理主机和虚拟机不交流则可能存在虚拟机逃逸

如果物理主机上的虚拟网络受到破坏由于存在物理主机和虚拟机的交流以及一台虚拟机监控另一台虚拟机的场景导致虚拟机也会受到损害

云计算环境也存在用户到用户的攻击虚拟机和物理主机的共享漏洞有可能被不法之徒利用

如果物理主机存在安全问题那么其上的所有虚拟机都可能存在安全问题

数据集中的安全问题

用户的数据存储处理网络传输等都与云计算系统有关包括如何有效存储数据以避免数据丢失或损坏如何避免数据被非法访问和篡改如何对多租户应用进行数据隔离如何避免数据服务被阻塞如何确保云端退役数据的妥善保管或销毁等

云平台可用性问题

用户的数据和业务应用处于云平台遭受攻击的问题系统中其业务流程将依赖于云平台服务连续性SLA和IT流程安全策略事件处理和分析等提出了挑战另外当发生系统故障时如何保证用户数据的快速恢复也成为一个重要问题

云平台遭受攻击的问题

云计算平台由于其用户信息资源的高度集中容易成为黑客攻击的目标由此拒绝服务造成的后果和破坏性将会明显超过传统的企业网应用环境

法律风险

云计算应用地域弱信息流动性大信息服务或用户数据可能分布在不同地区甚至是不同国家在政府信息安全监管等方面存在法律差异与纠纷同时由于虚拟化等技术引起的用户间物理界限模糊可能导致的司法取证问题也不容忽视

云计算使得数据本身遭遇很多不同的安全威胁，因此不但要从正面进行防御，如安装安全软件和防火墙等等，更要对于数据本身进行加密。这是因为加密防护不因环境改变而失效的特性所决定，即使黑客费力攻破了防御读取了数据，看到的也是加密过的乱码。

F. 大数据时代的核心是什么

大数据时代的核心是分析。

最早提出大数据时代让兆到来的是全球知名咨询公司麦肯锡，大数据在物理学、生物学、环坦轮租境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为云计算、互联网之后又IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营信息、互联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产，使其为国家治理、桐搭企业决策乃至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。

G. 大数据核心技术有哪些

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。

一、数据采集与预处理

对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。

Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费（收集）数据源到channel组件中，channel作为中间临时存储，保存所有source的组件信息，sink从channel中读取数据，读取成功之后会删除channel中的信息。

NDC，Netease Data Canal，直译为网易数据运河系统，是网易针对结构化数据库的数据实时迁移、同步和订阅的平台化解决方案。它整合了网易过去在数据传输领域的各种工具和经验，将单机数据库、分布式数据库、OLAP系统以及下游应用通过数据链路串在一起。除了保障高效的数据传输外，NDC的设计遵循了单元化和平台化的设计哲学。

Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择，可以在同一时间从众多常用的数据来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapRece 作业（极其容错的分布式并行计算）来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。

流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具有很多，比如开源的strom，spark streaming等。

Strom集群结构是有一个主节点（nimbus）和多个工作节点（supervisor）组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology（包括topology的发布、任务指派、事件处理时重新指派任务等）。supervisor进程等待nimbus分配任务后生成并监控worker（jvm进程）执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出（或被kill掉），supervisor会尝试重新生成新的worker进程。

当使用上游模块的数据进行计算、统计、分析时，就可以使用消息系统，尤其是分布式消息系统。Kafka使用Scala进行编写，是一种分布式的、基于发布/订阅的消息系统。Kafka的设计理念之一就是同时提供离线处理和实时处理,以及将数据实时备份到另一个数据中心，Kafka可以有许多的生产者和消费者分享多个主题，将消息以topic为单位进行归纳；Kafka发布消息的程序称为procer，也叫生产者，预订topics并消费消息的程序称为consumer，也叫消费者；当Kafka以集群的方式运行时，可以由一个服务或者多个服务组成，每个服务叫做一个broker，运行过程中procer通过网络将消息发送到Kafka集群，集群向消费者提供消息。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Procer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。Kafka可以和Flume一起工作，如果需要将流式数据从Kafka转移到hadoop，可以使用Flume代理agent，将Kafka当做一个来源source，这样可以从Kafka读取数据到Hadoop。

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的所有的都可以获得变更，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。

二、数据存储

Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。

HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。

Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。

Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。

Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。

Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas启动后会创建多个线程，其中一个为主线程，其余为工作线程。主线程负责监听所有的客户端连接请求，工作线程只监听主线程的命令请求。

Ku是围绕Hadoop生态圈建立的存储引擎，Ku拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Ku不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储，既可以进行随机读写，也可以满足数据分析的要求。Ku的应用场景很广泛，比如可以进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。

在数据存储过程中，涉及到的数据表都是成千上百列，包含各种复杂的Query，推荐使用列式存储方法，比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项，显著减少磁盘上的存储。

三、数据清洗

MapRece作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map（映射）”和”Rece（归约）”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。

随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。

Oozie是用于Hadoop平台的一种工作流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工作流作业)，当提交了workflow后，由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业)，然后向Oozie提交Workflow，Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因，用户程序不必等待作业执行完成（因为有些大作业可能会执行很久(几个小时甚至几天)）。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。

Azkaban也是一种工作流的控制引擎，可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工作流执行过程中的监控等；Azkaban Executor Server用来调度工作流和任务，记录工作流或者任务的日志。

流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台，其特点是易用、实时、可靠，为用户节省技术方面（开发、运维）的投入，帮助用户专注于解决产品本身的流计算需求。

四、数据查询分析

Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapRece。可以将Hive理解为一个客户端工具，将SQL操作转换为相应的MapRece jobs，然后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapRece程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapRece 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。

Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->rece->map->shuffle->rece…的模型。如果一个Query会被编译成多轮MapRece，则会有更多的写中间结果。由于MapRece执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中，用户只需要创建表，导入数据，编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。

Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据，同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapRece批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala将整个查询分成一执行计划树，而不是一连串的MapRece任务，相比Hive没了MapRece启动时间。

Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，可以先使用Hive进行数据转换处理，之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说：Impala把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->rece模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF，能处理的问题有一定的限制。

Spark拥有Hadoop MapRece所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。

Solr用Java编写、运行在Servlet容器（如Apache Tomcat或Jetty）的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。

Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，可以快速的储存、搜索和分析海量的数据。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

还涉及到一些机器学习语言，比如，Mahout主要目标是创建一些可伸缩的机器学习算法，供开发人员在Apache的许可下免费使用；深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等，常用的机器学习算法比如，贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。

五、数据可视化

对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数（可点击这里免费试用）等。

在上面的每一个阶段，保障数据的安全是不可忽视的问题。

基于网络身份认证的协议Kerberos，用来在非安全网络中，对个人通信以安全的手段进行身份认证，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。

控制权限的ranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop无缝对接。

H. 大数据和云计算关系

大数据和云计算关系
关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化；大数据就是海量数据的高效处理。
虽然上面的一句话解释不是非常的贴切，但是可以帮助你简单的理解二者的区别。另外，如果做一个更形象的解释，云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化之后再进行分配使用，在云计算领域目前的老大应该算是Amazon，可以说为云计算提供了商业化的标准，另外值得关注的还有VMware（其实从这一点可以帮助你理解云计算和虚拟化的关系），开源的云平台最有活力的就是Openstack了；
大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用（因为MapRece开发复杂），所以PigLatin和Hive出现了（分别是Yahoo！和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献），为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera（Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导）的Impala也出现了。
整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗？（田原）

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。
数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。
数据存储层
数据有很多分法，有结构化，半结构化，非结构化；也有元数据，主数据，业务数据；还可以分为GIS，视频，文件，语音，业务交易类各种数据。传统的结构化数据库已经无法满足数据多样性的存储要求，因此在RDBMS基础上增加了两种类型，一种是hdfs可以直接应用于非结构化文件存储，一种是nosql类数据库，可以应用于结构化和半结构化数据存储。
从存储层的搭建来说，关系型数据库，NoSQL数据库和hdfs分布式文件系统三种存储方式都需要。业务应用根据实际的情况选择不同的存储模式，但是为了业务的存储和读取方便性，我们可以对存储层进一步的封装，形成一个统一的共享存储服务层，简化这种操作。从用户来讲并不关心底层存储细节，只关心数据的存储和读取的方便性，通过共享数据存储层可以实现在存储上的应用和存储基础设置的彻底解耦。
数据处理层
数据处理层核心解决问题在于数据存储出现分布式后带来的数据处理上的复杂度，海量存储后带来了数据处理上的时效性要求，这些都是数据处理层要解决的问题。
在传统的云相关技术架构上，可以将hive，pig和hadoop-maprece框架相关的技术内容全部划入到数据处理层的能力。原来我思考的是将hive划入到数据分析层能力不合适，因为hive重点还是在真正处理下的复杂查询的拆分，查询结果的重新聚合，而maprece本身又实现真正的分布式处理能力。
maprece只是实现了一个分布式计算的框架和逻辑，而真正的分析需求的拆分，分析结果的汇总和合并还是需要hive层的能力整合。最终的目的很简单，即支持分布式架构下的时效性要求。
数据分析层
最后回到分析层，分析层重点是真正挖掘大数据的价值所在，而价值的挖掘核心又在于数据分析和挖掘。那么数据分析层核心仍然在于传统的BI分析的内容。包括数据的维度分析，数据的切片，数据的上钻和下钻，cube等。
数据分析我只关注两个内容，一个就是传统数据仓库下的数据建模，在该数据模型下需要支持上面各种分析方法和分析策略；其次是根据业务目标和业务需求建立的KPI指标体系，对应指标体系的分析模型和分析方法。解决这两个问题基本解决数据分析的问题。
传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。
谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。

I. 云计算的核心是什么

云计算（Cloud computing），是指基于互联网的超级计算模式。即把存储于个人电脑、移动电话和其他设备上的大量信息和处理器资源集中在一起，协同工作。它是一种新兴的共享基础架构的方法，可以将巨大的系统池连接在一起以提供各种IT服务。很多因素推动了对这类环境的需求，其中包括连接设备、实时数据流、SOA的采用以及搜索、开放协作、社会网络和移动商务等这样的Web 2.0应用的急剧增长。 另外，数字元器件性能的提升也使IT环境的规模大幅度提高，从而进一步加强了对一个由统一的云进行管理的需求。
云计算的基本原理是，通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。这可是一种革命性的举措，打个比方，这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。云计算的蓝图已经呼之欲出：在未来，只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。从这个角度而言，最终用户才是云计算的真正拥有者。云计算的应用包含这样的一种思想，把力量联合起来，给其中的每一个成员使用。 1、狭义云计算首旁燃晌狭义云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源（硬件、平台、软件）。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。这种特性经常被称为像水电一样使用IT基础设施。 2、广义云计算广义云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。
解释：
这种资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源，通常为一些大型服务器集群，包括计算服务器、存储服务器、宽带资源等等。云计算将所有的计算资源集中起来，并由软件实现自动管理，无需人为参与。这使得应用提供者无需为繁琐的细节而烦恼，能够者段橡更加专注于自己的业务，有利于创新和降低成本。
有人打了个比方：这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。
云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。云计算是虚拟化(Virtualization)、效用计算(Utility Computing)、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。
总的来说，云计算可以算作是网格计算的一个商业演化版。早在2002年，我国刘鹏就针对传统网格计算思路存在不实用问题，提出计算池的概念：“把分散在各地的高性能计算机用高速网络连接起来，用专门设计的中间件软件有机地粘合在一起，以Web界面接受各地科学工作者提出的计算请求，并将之分配到合适的结点上运行。计算池能大大提高资源的服务质量和利用率，同时避免跨结点划分应用程序所带来的低效性和复杂性，能够在目前条件下达到实用化要求。”如果将文中的“高性能计算机”换成“服务器集群”，将“科学工作者”换成“商业用户”，就与当前的云计算非常接近了。云计算是个2007年第4季度才兴起的新名词。对它的定义和内涵众说纷纭，我们至少可以在网上找到100种说法，但目前还没有公认的定义。本文试图综合各家说法的优点，提出云计算定义和特点与大家商榷。对这个定义的要求：能够用最精炼的语言描述，抓住云计算的本质，覆盖当今流行的典型云计算解决方案（包括Google云计算 、Amazon云计算、Salesforce云计算、云安全等），但又能区别其它相关概念（如网格计算、并行计算等）。
定义：云计算(Cloud Computing)是一种新兴的商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。
描述：
这种资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源，通常为一些大型服务器集群，包括计算服务器、存储服务器、宽带资源等等。云计算将所有的计算资源集中起来，并由软件实现自动管理，无需人为参与。这使得应用提供者无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。
有人打了个比方：这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。
云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。云计算是虚拟化(Virtualization)、效用计算(Utility Computing)、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。
早在2002年，刘鹏就针对传统网格计算思路存在不实用问题，提出计算池的概念：“它把分散在各地的高性能计算机用高速网络连接起来，用专门设计的中间件软件有机地粘合在一起，以Web界面接受各地科学工作者提出的计算请求，并将之分配到合适的结点上运行。计算池能大大提高资源的服务质量和利用率，同时避免跨结点划分应用程序所带来的低效性和复杂性，能够在目前条件下达到实用化要求。”如果将文中的“高性能计算机”换成“服务器集群”，将“科学工作者”换成“商业用户”，就与当前的云计算非常接近了。