智能大数据smart准则

① 大数据对互联网的影响

大数据对互联网的影响

大数据是最近经常被互联网大佬提到的名词，大数据在渐渐的改变互联网，互联网大佬们也正在利用大数据对用户提供更精准的营销和服务。

那么大数据是从哪里来的?大数据又对互联网产生了什么影响呢?

互联网的大数据是来自人们的使用习惯，人们经常浏览网络、网络购物、网络社交等留下的信息都会被大数据的收集工具所收集，并上传到数据处理平台进行数据处理。比如电商网站会因为你的购买习惯为你提供你可能感兴趣的商品，搜索引擎会因为你的搜索习惯提供你想要搜索的结果，社交工具和社交平台更是会因为你的兴趣爱好向你推荐你可感兴趣的人。

由于大数据的信息量非常的多，一般的处理工具已经无法满足如此大量数据的处理，云计算平台也随之产生。云计算平台是由大量的服务器组成的，收集的复杂数据为被分成小数据分配到服务器上进行处理，这样即使其中有一台服务器坏了，其他服务器也能正常运行，而且坏了的那台服务品的数据会被重新分配到其他服务器上处理。云计算平台的产生也同样促生了云服务器和云主机的产生。

云服务器的产生也保证了我们的网站不会出现宕机，网站能更好更快的运行。云主机不仅能让网站的访问速度和数据处理速度更快，还能帮我们收集用户的使用习惯，让我们能准确的为用户提供用户所需要的服务。

RAKsmart美国加州服务器中国区的产品经理曾经对我说：“大数据的兴起会让越来越多的企业使用云计算平台，互联网营销和服务将越来越准确，越来越多的中小企业会选择云主机建设网站并开展他们的业务。”

RAKsmart美国加州服务器是一家较早开展云主机业务的公司，一直以品质和服务打动客户，他们也专门针对中国客户提供支持中国电信线路的云主机服务，他们的云主机除了在性能上比一般的强以外，他们的云主机更是可以支持10个独立IP。大家都知道一般中国的云主机都是需要另外购买独立IP的，而RAKsmart美国加州服务器是会免费赠送一个独立IP的，而且价格也比国内的要便宜的多，多年的经验使他们更懂得用户的需要。

以上是小编为大家分享的关于大数据对互联网的影响的相关内容，更多信息可以关注环球青藤分享更多干货

② 怎样的架构设计才是真正的数据仓库架构

一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。
先大概列一下互联网行业数据仓库、数据平台的用途：

• 整合公司所有业务数据，建立统一的数据中心；

• 提供各种报表，有给高层的，有给各个业务的；

• 为网站运营提供运营上的数据支持，就是通过数据，让运营及时了解网站和产品的运营效果；

• 为各个业务提供线上或线下的数据支持，成为公司统一的数据交换与提供平台；

• 分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果；比如广告定向精准投放、用户个性化推荐等；

• 开发数据产品，直接或间接为公司盈利；

• 建设开放数据平台，开放公司数据；

• 。。。。。。



• 上面列出的内容看上去和传统行业数据仓库用途差不多，并且都要求数据仓库/数据平台有很好的稳定性、可靠性；但在互联网行业，除了数据量大之外，越来越多的业务要求时效性，甚至很多是要求实时的 ，另外，互联网行业的业务变化非常快，不可能像传统行业一样，可以使用自顶向下的方法建立数据仓库，一劳永逸，它要求新的业务很快能融入数据仓库中来，老的下线的业务，能很方便的从现有的数据仓库中下线；


• 其实，互联网行业的数据仓库就是所谓的敏捷数据仓库，不但要求能快速的响应数据，也要求能快速的响应业务；


• 建设敏捷数据仓库，除了对架构技术上的要求之外，还有一个很重要的方面，就是数据建模，如果一上来就想着建立一套能兼容所有数据和业务的数据模型，那就又回到传统数据仓库的建设上了，很难满足对业务变化的快速响应。应对这种情况，一般是先将核心的持久化的业务进行深度建模（比如：基于网站日志建立的网站统计分析模型和用户浏览轨迹模型；基于公司核心用户数据建立的用户模型），其它的业务一般都采用维度+宽表的方式来建立数据模型。这块是后话。


• 整体架构下面的图是我们目前使用的数据平台架构图，其实大多公司应该都差不多：


• 逻辑上，一般都有数据采集层、数据存储与分析层、数据共享层、数据应用层。可能叫法有所不同，本质上的角色都大同小异。


• 我们从下往上看：


• 数据采集数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。



• 数据源的种类比较多：



• 网站日志：



• 作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，


• 一般是在每台网站日志服务器上部署flume agent，实时的收集网站日志并存储到HDFS上；



• 业务数据库：



• 业务数据库的种类也是多种多样，有Mysql、Oracle、SqlServer等，这时候，我们迫切的需要一种能从各种数据库中将数据同步到HDFS上的工具，Sqoop是一种，但是Sqoop太过繁重，而且不管数据量大小，都需要启动MapRece来执行，而且需要Hadoop集群的每台机器都能访问业务数据库；应对此场景，淘宝开源的DataX，是一个很好的解决方案（可参考文章 《异构数据源海量数据交换工具-Taobao DataX 下载和使用》），有资源的话，可以基于DataX之上做二次开发，就能非常好的解决，我们目前使用的DataHub也是。


• 当然，Flume通过配置与开发，也可以实时的从数据库中同步数据到HDFS。



• 来自于Ftp/Http的数据源：



• 有可能一些合作伙伴提供的数据，需要通过Ftp/Http等定时获取，DataX也可以满足该需求；



• 其他数据源：



• 比如一些手工录入的数据，只需要提供一个接口或小程序，即可完成；



• 数据存储与分析毋庸置疑，HDFS是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。



• 离线数据分析与计算，也就是对实时性要求不高的部分，在我看来，Hive还是首当其冲的选择，丰富的数据类型、内置函数；压缩比非常高的ORC文件存储格式；非常方便的SQL支持，使得Hive在基于结构化数据上的统计分析远远比MapRece要高效的多，一句SQL可以完成的需求，开发MR可能需要上百行代码；


• 当然，使用Hadoop框架自然而然也提供了MapRece接口，如果真的很乐意开发Java，或者对SQL不熟，那么也可以使用MapRece来做分析与计算；Spark是这两年非常火的，经过实践，它的性能的确比MapRece要好很多，而且和Hive、Yarn结合的越来越好，因此，必须支持使用Spark和SparkSQL来做分析和计算。因为已经有Hadoop Yarn，使用Spark其实是非常容易的，不用单独部署Spark集群，关于Spark On Yarn的相关文章，可参考：《Spark On Yarn系列文章》


• 实时计算部分，后面单独说。


• 数据共享这里的数据共享，其实指的是前面数据分析与计算后的结果存放的地方，其实就是关系型数据库和NOSQL数据库；



• 前面使用Hive、MR、Spark、SparkSQL分析和计算的结果，还是在HDFS上，但大多业务和应用不可能直接从HDFS上获取数据，那么就需要一个数据共享的地方，使得各业务和产品能方便的获取数据；和数据采集层到HDFS刚好相反，这里需要一个从HDFS将数据同步至其他目标数据源的工具，同样，DataX也可以满足。


• 另外，一些实时计算的结果数据可能由实时计算模块直接写入数据共享。



• 数据应用

• 业务产品
  



• 业务产品所使用的数据，已经存在于数据共享层，他们直接从数据共享层访问即可；



• 报表



• 同业务产品，报表所使用的数据，一般也是已经统计汇总好的，存放于数据共享层；



• 即席查询



• 即席查询的用户有很多，有可能是数据开发人员、网站和产品运营人员、数据分析人员、甚至是部门老大，他们都有即席查询数据的需求；


• 这种即席查询通常是现有的报表和数据共享层的数据并不能满足他们的需求，需要从数据存储层直接查询。


• 即席查询一般是通过SQL完成，最大的难度在于响应速度上，使用Hive有点慢，目前我的解决方案是SparkSQL，它的响应速度较Hive快很多，而且能很好的与Hive兼容。


• 当然，你也可以使用Impala，如果不在乎平台中再多一个框架的话。



• OLAP



• 目前，很多的OLAP工具不能很好的支持从HDFS上直接获取数据，都是通过将需要的数据同步到关系型数据库中做OLAP，但如果数据量巨大的话，关系型数据库显然不行；


• 这时候，需要做相应的开发，从HDFS或者HBase中获取数据，完成OLAP的功能；


• 比如：根据用户在界面上选择的不定的维度和指标，通过开发接口，从HBase中获取数据来展示。



• 其它数据接口
  



• 这种接口有通用的，有定制的。比如：一个从Redis中获取用户属性的接口是通用的，所有的业务都可以调用这个接口来获取用户属性。



• 实时计算现在业务对数据仓库实时性的需求越来越多，比如：实时的了解网站的整体流量；实时的获取一个广告的曝光和点击；在海量数据下，依靠传统数据库和传统实现方法基本完成不了，需要的是一种分布式的、高吞吐量的、延时低的、高可靠的实时计算框架；Storm在这块是比较成熟了，但我选择Spark Streaming，原因很简单，不想多引入一个框架到平台中，另外，Spark Streaming比Storm延时性高那么一点点，那对于我们的需要可以忽略。


• 我们目前使用Spark Streaming实现了实时的网站流量统计、实时的广告效果统计两块功能。


• 做法也很简单，由Flume在前端日志服务器上收集网站日志和广告日志，实时的发送给Spark Streaming，由Spark Streaming完成统计，将数据存储至Redis，业务通过访问Redis实时获取。


• 任务调度与监控在数据仓库/数据平台中，有各种各样非常多的程序和任务，比如：数据采集任务、数据同步任务、数据分析任务等；



• 这些任务除了定时调度，还存在非常复杂的任务依赖关系，比如：数据分析任务必须等相应的数据采集任务完成后才能开始；数据同步任务需要等数据分析任务完成后才能开始；这就需要一个非常完善的任务调度与监控系统，它作为数据仓库/数据平台的中枢，负责调度和监控所有任务的分配与运行。


• 前面有写过文章，《大数据平台中的任务调度与监控》,这里不再累赘。


• 总结在我看来架构并不是技术越多越新越好，而是在可以满足需求的情况下，越简单越稳定越好。目前在我们的数据平台中，开发更多的是关注业务，而不是技术，他们把业务和需求搞清楚了，基本上只需要做简单的SQL开发，然后配置到调度系统就可以了，如果任务异常，会收到告警。这样，可以使更多的资源专注于业务之上。

③ 农业大数据能为农民做什么应该如何应用

农业大数据平台就是利用气候及土壤大数据，提供农户最佳化的栽种管理决策，协助农民有内效管理其农容地，并让农民从每一颗种子中提取最高的价值；
简单来说，农夫可以透过移动装置快速进行数据分析，并借此分析结果优化资源及提高效益。除Climate FieldView平台外，MySmartFarm、FarmLogs等也都是大数据在农业应用中的实例。
农业大数据运用将会是解决未来人类对粮食需求的解药，透过物联网及云端运算之应用，农业大数据下的精准农业，预期将能减少农业对环境生态的负面影响，并透过所建立的模型进行预测，提出最适的解决方案，一方面提高粮食的产量，另一方面则减少生产资源的错置与浪费，进而在未来有效地回应人类对粮食的需求。

④ 对于当今最流行的大数据技术AL人工智能技术。物联网技术。你了解多少

带你了解大数据及人工智能时代的3项关键技术

01 云计算根据美国国家标准与技术研究院（National Instituteof Standards and Technology，NIST）的定义，云计算是指能够针对共享的可配置计算资源，按需提供方便的、泛在的网络接入的模型。上述计算资源包括网络、服务器、存储、应用和服务等，这些资源能够快速地提供和回收，而所涉及的管理开销要尽可能小。具体来说，云模型包含五个基本特征、三个服务模型和四个部署模型。五个基本特征：

按需自助服务（on-demand self-service）

广阔的互联网访问（broad network access）

资源池（resource pooling）

快速伸缩（rapid elasticity）

可度量的服务（measured service）

三个服务模型：

软件即服务（Software as a Service，SaaS）

平台即服务（Platform as a Service，PaaS）

基础设施即服务（Infrastructure as a Service，IaaS）

四个部署模型：

私有云（private cloud）

社区云（community cloud）

公有云（public cloud）

混合云（hybrid cloud）

一般来说，云计算可以被看作通过计算机通信网络（例如互联网）来提供计算服务的分布式系统，其主要目标是利用分布式资源来解决大规模的计算问题。云中的资源对用户是透明的，用户无须知晓资源所在的具体位置。这些资源能够同时被大量用户共享，用户能够在任何时间、任何地点访问应用程序和相关的数据。云计算的体系结构如图1-3所示，还对三个服务模型进行了阐述。

一般来说，物联网能够在云计算的虚拟形式的无限计算能力和资源上补偿自身的技术性限制（例如存储、计算能力和通信能力）。云计算能够为物联网中服务的管理和组合提供高效的解决方案，同时能够实现利用物联网中产生的数据的应用程序和服务。对于物联网来说，云计算能够以更加分布式的、动态的方式来扩展其能处理的真实世界中物/设备的范围，进而交付大量实际生活中的场景所需要的服务。


在多数情况下，云计算能够提供物与应用程序之间的中间层，同时将实现应用程序所必需的复杂性和功能都隐藏起来，这将影响未来的应用程序开发。在未来的多云环境下，应用程序的开发面临着来自信息的收集、处理和传输等方面的新挑战。物联网在工业领域的应用涵盖了众多方面，例如自动化、优化、可预测制造、运输等。制造（manufacturing）是物联网在工业领域最大的市场，涉及软件、硬件、连通性和服务等。


随着物联网的引入，由原料、工件、机器、工具、库存和物流等组成的工业系统构成了实施制造过程的生产单元，上述这些构件之间可以互相通信。物联网提供的连通性驱动了各项操作技术（Operational Technology，OT）的实际性能的收敛性，这里的操作技术包括机械手、传送带、仪表、发电机等。在整个制造过程中，传感器、分布式控制以及安全软件发挥着“胶水”的作用。


当前，工业领域有远见的企业都将生产线和生产过程构建在了物联网之上。运输（transportation）是物联网在工业领域的第二大市场。当前，在众多城市中涌现的智能运输网络能够优化传统运输网络中的路径，生成高效、安全的路线，降低基础设施的开销并缓解交通拥塞。航空、铁路、城际等货运公司能够集成海量的数据来对需求进行实时分析，实现统筹规划和优化操作。


03 大数据随着物联网和云计算技术的发展，海量的数据以前所未有的速度从异构数据源产生，这些数据源所在的领域有医疗健康、政府机构、社交网络、环境监测和金融市场等。在这些景象的背后，存在大量强大的系统和分布式应用程序来支持与数据相关的操作，例如智能电网（smart grid）系统、医疗健康（healthcare）系统、零售业（retailing）系统、政府（government）系统等。


在大数据的变革发生之前，绝大多数机构和公司都没有能力长期保存归档数据，也无法高效地管理和利用大规模的数据集。实际上，现有的传统技术能够应对的存储和管理规模都是有限的。在大数据环境下，传统技术缺乏可扩展性和灵活性，其性能也无法令人满意。当前，针对海量的数据集，需要设计涵盖清洗、处理、分析、加载等操作的可行性方案。业界的公司越来越意识到针对大数据的处理与分析是使企业具有竞争力的重要因素。

1. 三类定义当前大数据在各个领域的广泛普及使得学界与业界对大数据的定义很难达成一致。不过有一点共识是，大数据不仅是指大量的数据。通过对现有大数据的定义进行梳理，我们总结出三种对大数据进行描述和理解的定义。1）属性型定义（attributive definition）作为大数据研究与应用的先驱，国际数据公司（International Data Corporation，IDC）在戴尔易安信（DELLEMC）公司的资助下于2011年提出了如下大数据的定义：

大数据技术描述了技术与体系结构，其设计初衷是通过实施高速的捕获、发现以及分析，来经济性地提取大量具有广泛类型的数据的价值。

该定义侧面描述了大数据的四个显著特征：数量、速度、多样化和价值。由Gartner公司分析师Doug Laney总结的研究报告中给出了与上述定义类似的描述，该研究指出数据的增长所带来的挑战与机遇是三个维度的，即显著增长的数量（Volume）、速度（Velocity）和多样化（Variety）。尽管Doug Laney关于数据在三个维度的描述最初并不是要给大数据下定义，但包括IBM、微软在内的业界在其后的十年间都沿用上述“3V”模型来对大数据进行描述。2）比较型定义（comparative definition）Mckinsey公司2011年给出的研究报告将大数据定义为：

规模超出了典型数据库软件工具的捕获、存储、管理和分析能力的数据集。

尽管该报告没有在具体的度量标准方面对大数据给出定义，但其引入了一个革命性的方面，即怎样的数据集才能够被称为大数据。3）架构型定义（architectural definition）美国国家标准与技术研究院（NIST）对大数据的描述为：

大数据是指数据的数量、获取的速度以及数据的表示限制了使用传统关系数据库方法进行有效分析的能力，需要使用具有良好可扩展性的新型方法来对数据进行高效的处理。

2. 5V以下是一些文献中关于大数据特征的描述：

数据的规模成为问题的一部分，并且传统的技术已经没有能力处理这样的数据。

数据的规模迫使学界和业界不得不抛弃曾经流行的方法而去寻找新的方法。

大数据是一个囊括了在合理时间内对潜在的超大数据集实现捕获、处理、分析和可视化的范畴，并且传统的信息技术无法胜任上述要求。

大数据的核心必须包含三个关键的方面：数量多、速度快和多样化，即著名的“3V”。

1）数量数据的数量又称为数据的规模，在大数据中，其是指在进行数据处理时所面对的超大规模的数据量。目前，海量的数据持续不断地从千百万设备和应用中产生（例如信息通信技术、智能手机、软件代码、社交网络、传感器以及各类日志）。

McAfee公司在2012年估算：在2012年的每一天中，全球都产生着2.5EB的数据，并且该数值约每40个月实现翻倍。

2013年，国际数据公司（IDC）估算全球所产生、复制和消费的数据已经达到4.4ZB，并且该数值约每两年实现翻倍。

到2015年，全球产生的数据将达到8ZB。根据IDC的研究报告，全球产生的数据将在2020年达到40ZB。

2）速度在大数据中，数据的速度是指在进行数据处理时所面对的具有高频率和高实时性的数据流。高速生成的数据应当及时进行处理，以便提取有用的信息和洞察潜在的价值。全球知名的折扣连锁店沃尔玛基于消费者的交易每小时产生2.5PB的数据。视频分享类网站（例如优酷、爱奇艺等）则是大数据高频率和高实时性特征的另一个例证。


3）多样化在大数据中，数据的多样化是指在进行数据处理时所面对的具有不同语法格式的数据类型。随着物联网技术与云计算技术的普及，海量的多源异构数据从不同的数据源以不同的数据格式持续地产生，典型的数据源有传感器、音频、视频、文档等。海量的异构数据形成各种各样的数据集，这些数据集可能包含结构化数据、半结构化数据、非结构化数据，数据集的属性可能是公开或隐私的、共享或机密的、完整或不完整的，等等。随着大数据理论的发展，更多的特征逐步被纳入考虑的范围，以便对大数据做出更好的定义，例如：

想象（vision），这里的想象是指一种目的；

验证（verification），这里的验证是指经过处理后的数据符合特定的要求；

证实（validation），这里的证实是指前述的想象成为现实；

复杂性（complexity），这里的复杂性是指由于数据之间关系的进化，海量数据的组织和分析均很困难；

不变性（immutability），这里的不变性是指如果进行妥善管理，那么经过存储的海量数据可以永久保留。

描述大数据的五个关键特征（即“5V”）：

数量（Volume）

速度（Velocity）

多样化（Variety）

准确性（Veracity）

价值（Value）

4）准确性在商界，决策者通常不会完全信任从大数据中提取出的信息，而会进一步对信息进行加工和处理，然后做出更好的决策。如果决策者不信任输入数据，那么输出数据也不会获得信任，这样的数据不会参与决策过程。随着大数据中数据规模的日新月异和数据种类的多样化，如何更好地度量和提升数据可信度成为一个研究热点。


5）价值一般来说，海量的数据具有价值密度低的缺点。如果无法从数据中有效地提取出潜在的价值，那么这些数据在某种程度上就是没用的。数据的价值是决策者最关注的方面，其需要仔细且认真的研究。目前，已经有大量的人力、物力和财力投入到大数据的研究和应用中，这些投资行为都期望从海量数据中获得有价值的内容。但是，对于不同的机构和不同的价值提取方法，同样的数据集所产生的价值差异可能很大，即投入与产出并不一定成正比。


因此，对大数据价值的研究需要建立更加完善的体系。