大数据的层次

『壹』 大数据和人工智能有什么区别

大数据分为三个层次
我们将大数据分为三个层次。一是容量很大的数据，比如两个仓库都堆满了专很多属书，甲仓库的书全是大学二年级数学教材，乙仓库的为大学各类教材及其提升学生综合能力的各类图书，两仓库都满足了“大”的要求；二是大容量且有用的数据，比如对大学教学来说，肯定上述甲仓库的书几乎没用，而乙能满足这一要求；三是从中挖掘核心数据的强大能力，这个很考水平。
人工智能分为两个层次
对于人的思维模拟可以从两条道路进行，一是结构模拟，仿照人脑的结构机制，制造出“类人脑”的机器；二是功能模拟，暂时撇开人脑的内部结构，而从其功能过程进行模拟。
大数据和人工智能协同合作，人工智能需要大数据提取的核心数据进行训练，而训练后的人工智能也可以帮大数据更快速的挖掘出核心数据，两者之间互助互利。

『贰』 大数据技术架构的什么层提供基于统计学的数据

大数据技术架构的分析层提供基于统计学的数据。

大数据的四层堆栈式技术架构：

1、基础层

第一层作为整个大数据技术架构基础的最底层，也是基础层。要实现大数据规模的应用，企业需要一个高度自动化的、可横向扩展的存储和计算平台。这个基础设施需要从以前的存储孤岛发展为具有共享能力的高容量存储池。容量、性能和吞吐量必须可以线性扩展。

云模型鼓励访问数据并提供弹性资源池来应对大规模问题，解决了如何存储大量数据，以及如何积聚所需的计算资源来操作数据的问题。在云中，数据跨多个节点调配和分布，使得数据更接近需要它的用户，从而可以缩短响应时间和提高生产率。

2、管理层

要支持在多源数据上做深层次的分析，大数据技术架构中需要一个管理平台，使结构化和非结构化数据管理为一体，具备实时传送和查询、计算功能。本层既包括数据的存储和管理，也涉及数据的计算。并行化和分布式是大数据管理平台所必须考虑的要素。

3、分析层

大数据应用需要大数据分析。分析层提供基于统计学的数据挖掘和机器学习算法，用于分析和解释数据集，帮助企业获得对数据价值深入的领悟。可扩展性强、使用灵活的大数据分析平台更可成为数据科学家的利器，起到事半功倍的效果。

4、应用层

大数据的价值体现在帮助企业进行决策和为终端用户提供服务的应用。不同的新型商业需求驱动了大数据的应用。反之，大数据应用为企业提供的竞争优势使得企业更加重视大数据的价值。新型大数据应用对大数据技术不断提出新的要求，大数据技术也因此在不断的发展变化中日趋成熟。

『叁』 京东分享 企业大数据的新认识与应用

京东分享：企业大数据的新认识与应用

大数据和我们每个人日常生活已经非常紧密地联系在一起了。

随便举个场景的例子，比如说，早上醒来的时候我通过智能手表的数据，发现昨晚的睡眠质量并不是太好，早上洗脸刷牙吃过早饭，步行1000多步来到六道口地铁刷卡坐地铁，两站3块钱到达奥林匹克公园，在地铁上我通过京东手机客户端发现一双我之前浏览过的Nike篮球鞋降价了，京东将这条商品信息主动推送过来，我立马下单购买，节省了100多块钱，并且我把这条信息通过微信分享到了朋友圈。

在这个过程中，我个人生产了睡眠数据、步行距离数据、地铁刷卡消费数据、地铁起点终点地理数据、京东购物数据、微信朋友圈数据，所以作为大数据生产者我一下子生产了这么多数据。而作为大数据消费者，在我以后浏览京东商城或app的时候，系统可能会向我推荐改善睡眠智能的枕头、篮球鞋或与篮球鞋相关的其他商品，而我朋友圈的朋友看到我的分享信息后，他们也可能因为我的分享而去购买。

而我们生产的这些数据，企业尤其是互联网公司拿到后，通过数学统计和挖掘的算法将其进行聚类、拆分和预测得到更多相关数据，通过这些数据对我们每个人进行标签化的描述。如性别，婚姻状况，兴趣爱好，收入情况，是否喜欢运动，促销敏感度等等，这样就得到了我们每个人的很多属性，如人口基本属性、购买能力、行为特征、社交网络、心理特征、兴趣爱好等等。

企业掌握了这些数据之后，他们如何来利用这些数据呢？是通过这些数据来做营销，如精准营销，广告的精准投放，商品的精准推荐？还是通过这些数据精细化企业内部运营管理？又或是通过这些数据改善生产工艺流程、指导产品的二次研发？那就看企业大数据修行的层次了。大数据应用的好，可以真正提升到战略高度，用的不好，大数据也就是锦上添花，可有可无的东西。

按照数据挖掘的聚类思维，企业数据可以分为内部数据和外部数据，内部数据又可以简单分为财务数据和供应链数据（大供应链概念）。当然不同行业的企业经营内容差别很多，如金融行业，涉及到投资、融资、现金管理等财务方面可能多一些，涉及到供应链很少，而生产制造或流通服务行业，涉及供应链的数据就会多一些。

财务数据主要是以财务报表，尤其是财务发布的三大报表为主，资产负债表、利润表以及现金流量表。之后是总帐，总帐里面记账会涉及到科目、科目不够用我们也会设置辅助核算，还有大多企业每年都会做预算，预算大多也是围绕财务指标制定的，或者是以财务预算为主倒推业务预算。当然财务管理中其中一大块还有资金管理。

供应链的数据种类就会更多一些，从供应链上游的供应商到下游的消费者，包括采购，仓储，物流，生产，销售，售后等数据。当然每个环节我们还是可以再进一步去细化。

另外，相信没有一家是自己关起来门来做生产，做营销的，都要积极地去参考外部数据，这其中就包括国家政策、经济环境、股市行情、竞争对手、主要原材料价格等。

大多数企业应该实施了BI系统或报表自动化系统，如果这些系统是由乙方单位负责规划建设，他们在规划或者实施过程中制定的系统方案架构图无非就是分三个层次顶多四个层次。

从下往上说，第一个层次元数据层或者数据源层，就是我们业务应用系统的数据，财务，供应链，人力资源，预算等等。

第二层次叫做大数据存储层，就是把下面每个层次的数据源采集到一个数据仓库里面去，之后就到了第三个层次，分析模型层，基于数据仓库构建分析模型，有的方案甚至将分析模型层直接省略掉，直接到了最后一个层次数据展示层，将分析模型中的数据展示出来。根据笔者多年从业经验，这样的组织形式顶多称之为BI系统，还不能称之为大数据系统。

京东大数据并不是一个单独的系统或产品，京东大数据应用已经融入到每个业务应用系统当中了。我们的大数据采集平台在不影响系统或产品效率以及客户体验的前提自动将所有数据定时、实时采集到Hadoop平台上，以大数据平台为核心，将经过加工、处理、分析和挖掘后的结果分发后各个业务系统以及数据产品中，如商城、采销、数据罗盘、领航等。下图仅供参考：

不是每家企业都是京东，也不是每家企业都是互联网公司，不是每家企业的业务都必须需要大数据的支撑。在满足自己业务需求的前提下，企业是不是也能玩一玩小数据应用呢？答案是肯定的，大数据应用也是可以分层次的，每个层次满足企业对数据不同层次的需要。大致分为5个层次，每个层次是逐级递进的关系。

1.业务监测

这是大数据应用的初级阶段，即传统的DW/BI阶段。在这个阶段，企业部署商业智能(BI)解决方案，其实就是一套自动化报表系统，用以监测现有业务的运行状况。

业务监测，有时也被称为业务绩效管理(Business Performance Management)，指企业使用基本的分析手段，来预警业务运行低于或高于预期的情况，并自动发送相关警示信息给相应业务和管理人员。企业业务和管理人员可以根据之前制定的预警规则，提前掌握业务经营情况，实现提前预警，帮助他们有针对性、有预见性的采取一些措施和手段，来防范于未然。

这个阶段最关键有两个要点，一个是预警规则的设计，经常采用的方法包括参照方法(同期比较、同类营销活动比较、同业标杆比较)或指标方法(品牌开发、客户满意度、产品绩效、财务分析)，指标分析法就是选择合理的指标，当然这里合理指标的选择说起来容易，其实做起来也要费一番脑筋的，给大家举个我之前碰到的例子，当时是给一个做离散制造的企业做方案设计，他们在库存管理方面绩效考核一个非常重要的指标就是存货周转率或存货周转天数，这本来是一个非常正常也是经常使用的指标，但是这家单位的库存管理存在假出库、假入库的情况，这种情况就造成了存货周转率这个绩效指标看起来非常好看，后来我们经过考虑改用动销比，存销比作为指标，将库存指标和销售指标联合起来组合使用，就避免了假出库、假入库的情况。举这个例子的目的，就是想说明我们在做业务监控的时候，指标选择很重要，既要准确、公正地反映出该块业务运营情况，同时还要避免人为造假的情况。

2.业务洞察

业务洞察意味着系统不只是提供数据报表，而是“智能”报表或“智能”仪表盘，需要根据历史数据进一步预测、挖掘出我们通过前面多维分析还不知道的一些数据了。

比如说，笔者以前在给杭州某家连锁酒店做项目的时候，我们需要根据该酒店在全国范围内投资过酒店的经营情况数据来做些更好玩的东西出来，如我们需要根据之前投资过的酒店的装修投入情况，不同档次当前出租率，酒店餐饮部门的上座率和翻台率，营业收入，成本费用以及当地城市竞争对手酒店情况来预测新投资一家酒店的投资回报率和投资回收期。另外，还有就是财务分析中经常会用到的杜邦分析，简单说下杜邦分析，杜邦分析就是从财务的角度对整个企业财务绩效情况进行综合分析的一个模型，他基本原理就是顶端是ROE，针对ROE我们可以分解为ROA×权益乘数，ROA又可以分为销售净利率×资产周转率，之后再次分解，最后成一个全是财务指标的树形结构。由于这些财务指标都是通过财务报表项目，会计科目和辅助核算计算出来的，所以他们之间存在着非常紧急的逻辑关系，这样的话，我们可以计算一些技术手段实现模拟预测，如做下一年预算或规划的时候，想让某些财务指标达到什么水平，我们事先将其进行调整，和他相关的指标也会联动，比如将净利润提高1%，销售收入、营销成本、管理费用等其他指标就需要达到什么程度?这样可以帮我们做到事先预测，更好地做规划和预算。

当然这个阶段可以做预测的还有很多，比如零售行业，大多品类的销售是有销售周期的，基于销售周期我们可以对销售进行预测。也可以根据历史用户对不同营销方式的响应程度、营销费用、营销商品以及营销效果之间的关系，较为准确的锁定目标人群进行有针对性的营销，提高营销效率，降低营销成本。

3.业务优化

业务优化对于绝大多数企业来说还是很具备吸引力的，这也是很多企业日思夜想的目标。其实在这个阶段我们可以一步步来，一点点来做，至少企业是有能力将分析技术嵌入到业务运营之中。这里举个我们之前给传统企业做过一个案例，像大多数企业一样， 这家企业也有ERP系统，在采购环节，我们可以将供应绩效模型引入进来，当然这个供应商绩效模型可能要考虑的因素会比较多，如供货质量、供货效率，次品率，售后服务等等很多因素，采购人员在进行采购的时候可以根据供应商绩效模型自主选择合适的供应商，这是一个例子，另外还可以将主要原材料的市场价格进行实时接入到采购界面，让采购管理人员可以自己掌握采购周期，合理安排采购计划。

在零售行业我们都知道，商品和商品之间，用户和用户之间，用户和商品之间是存在着很强的关联关系，就像大伙常说啤酒和尿布的例子，巧克力和避孕套的例子。这里可以大家稍微说下，大多电商是怎么做的，我们通过这些商品在被购买的记录中找出每两个商品之间的关联关系，这种关联关系并不是对等的，比如说购买了手机的用户一般也会同时购买手机壳，而买手机壳的人不一定也买手机，这就说明手机和手机壳之间是有关系的，而且是强关系。手机壳和手机之间关系是弱关系，这里关系的强弱我们用系数来说明。所以商品和商品之间的这种关系，我们就形成一个商品模型。基于这个商品模型，我们就可以更好向用户推荐他浏览过、购买过、收藏过、评论过的商品了。说完商品，我们再说用户，用户通过类似的浏览行为，搜索行为，评论行为以及购买行为，我们可以找到用户和用户之间的关系。基于用户之间的行为关系，我们可以向用户推荐其他和他相关度很强的用户购买或感兴趣的一些商品。这也就是好多互联网公司做广告推荐，商品推荐，促销信息推荐等常用的做法。

4.数据盈利

数据盈利也就是我们经常谈到数据变现，数据盈利的一种方式就是数据产品化。目前有很多数据服务类公司，可以采集到移动端游戏， app使用情况，用户行为等数据，通过他们数据挖掘和分析的技术，再通过产品或服务的行为进行输出即可实现变现的目的。另外，手机厂商，如小米、华为等，他们都拥有几亿的活跃用户，掌握一手用户在手机的行为数据，甚至包括支付数据。能变现的方面就有很多了，限制他们的就是他们的想法了。另外也越来越多的传统厂商将产品数据化了，如汽车+大数据 变成了特斯拉，家居+大数据变成了智能家居，当然这里能举的例子还有很多。

5.业务重塑

业务重塑应该是大数据成熟度模型的最高阶段。在这个阶段，某些企业希望利用对客户使用方式、产品效能行为及总体市场趋势的分析，将商业模式转换到新市场的新服务，例如：京东的新开展的业务，京东金融、京东智能。此外，我们可以发挥一下想象力，BAT有哪些业务是以主营业务数据为基础开拓出来的，是不是能想到很多？

中国乃至世界真正拥有大数据的企业不多，我们是幸运的，拥有电商全价值链的大数据，如何挖掘这座金矿？限制我们的只有我们自己的想法。

以上是小编为大家分享的关于京东分享 企业大数据的新认识与应用的相关内容，更多信息可以关注环球青藤分享更多干货

『肆』 数据采集|教育大数据的来源、分类及结构模型

一、 教育大数据的来源

教育是一个超复杂的系统，涉及 教学、管理、教研、服务 等诸多业务。与金融系统具有清晰、规范、一致化的业务流程所不同的是，不同地区、不同学校的教育业务虽然具有一定的共性，但差异性也很突出，而业务的差异性直接导致教育数据来源更加多元、数据采集更加复杂。

教育大数据产生于 各种教育实践活动 ，既包括校园环境下的教学活动、管理活动、科研活动以及校园生活，也包括家庭、社区、博物馆、图书馆等非正式环境下的学习活动；既包括线上的教育教学活动，也包括线下的教育教学活动。

教育大数据的核心数据源头是“人”和“物”——“人”包括学生、教师、管理者和家长，“物”包括信息系统校园网站、服务器、多媒体设备等各种教育装备。

依据来源和范围的不同，可以将教育大数据分为个体教育大数据、课程教育大数据、班级教育大数据、学校教育大数据、区域教育大数据、国家教育大数据等六种 。

二、 教育大数据的分类

教育数据有多重分类方式。

从数据产生的业务来源来看，包括 教学类数据、管理类数据、科研类数据 以及服务类数据。

从数据产生的技术场景来看，包括 感知数据 、业务数据和互联网数据等类型。

从数据结构化程度来看，包括 结构化数据、半结构化数据和非结构化数据 。结构化数据适合用二维表存储。

从数据产生的环节来看，包括 过程性数据和结果性数据 。过程性数据是活动过程中采集到的、难以量化的数据（如课堂互动、在线作业、网络搜索等）；结果性数据则常表现为某种可量化的结果（如成绩、等级、数量等）。

国家采集的数据主要以管理类、结构化和结果性的数据为主，重点关注宏观层面教育发展整体状况。到大数据时代，教育数据的全面采集和深度挖掘分析变得越来越重要。教育数据采集的重心将向非结构化、过程性的数据转变。

三、教育数据的结构模型

整体来说，教育大数据可以分为四层，由内到外分别是基础层、状态层、资源层和行为层。

基础层：也就是我们国家最最基础的数据，是高度保密的数据； 包括教育部2012年发布的七个教育管理信息系列标准中提到的所有数据，如学校管理信息、行政管理信息和教育统计信息等；

状态层，各种装备、环境与业务的运行状态的数据； 必然设备的耗能、故障、运行时间、校园空气质量、教室光照和教学进度等；

资源层，最上层是关于教育领域的用户行为数据。 比如PPT课件、微课、教学视频、图片、游戏、教学软件、帖子、问题和试题试卷等；

行为层：存储扩大教育相关用户（教师、学生、教研员和教育管理者等）的行为数据， 比如学生的学习行为数据、教师的教学行为数据、教研员的教学指导行为数据以及管理员的系统维护行为数据等。

不同层次的数据应该有不同的采集方式和教育数据应用的场景。

关于教育大数据的冰山模型，目前我们更多的是采集一些显性化的、结构性的数据，而存在冰山之下的是更多的非结构化的，而且真正为教育产生最大价值的数据是在冰山之下的。

参考文献：

教育大数据的来源与采集技术  邢蓓蓓

『伍』 什么是“大数据”，如何理解“大数据”

• 大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

  

『陆』 大数据从技术层面分为那几层,每一层有什么功能

大数据技术层面主要分为这几层
1. 预测分析技术
这也是大数据的主要功能之一。预测分析允许公司通过分析大数据源来发现、评估、优化和部署预测模型，从而提高业务性能或降低风险。同时，大数据的预测分析也与我们的生活息息相关。淘宝会预测你每次购物可能还想买什么，爱奇艺正在预测你可能想看什么，百合网和其他约会网站甚至试图预测你会爱上谁……
2. NoSQL数据库
NoSQL，Not Only SQL，意思是“不仅仅是SQL”，泛指非关系型数据库。NoSQL数据库提供了比关系数据库更灵活、可伸缩和更便宜的替代方案，打破了传统数据库市场一统江山的格局。并且，NoSQL数据库能够更好地处理大数据应用的需求。常见的NoSQL数据库有HBase、Redis、MongoDB、Couchbase、LevelDB等。
3. 搜索和知识发现
支持来自于多种数据源(如文件系统、数据库、流、api和其他平台和应用程序)中的大型非结构化和结构化数据存储库中自助提取信息的工具和技术。如，数据挖掘技术和各种大数据平台。
4. 大数据流计算引擎
能够过滤、聚合、丰富和分析来自多个完全不同的活动数据源的数据的高吞吐量的框架，可以采用任何数据格式。现今流行的流式计算引擎有Spark Streaming和Flink。
5. 内存数据结构
通过在分布式计算机系统中动态随机访问内存(DRAM)、闪存或SSD上分布数据，提供低延迟的访问和处理大量数据。
6. 分布式文件存储
为了保证文件的可靠性和存取性能，数据通常以副本的方式存储在多个节点上的计算机网络。常见的分布式文件系统有GFS、HDFS、Lustre 、Ceph等。
7. 数据虚拟化
数据虚拟化是一种数据管理方法，它允许应用程序检索和操作数据，而不需要关心有关数据的技术细节，比如数据在源文件中是何种格式，或者数据存储的物理位置，并且可以提供单个客户用户视图。
8. 数据集成
用于跨解决方案进行数据编排的工具，如Amazon Elastic MapRece (EMR)、Apache Hive、Apache Pig、Apache Spark、MapRece、Couchbase、Hadoop和MongoDB等。
9. 数据准备
减轻采购、成形、清理和共享各种杂乱数据集的负担的软件，以加速数据对分析的有用性。
10. 数据质量
使用分布式数据存储和数据库上的并行操作，对大型高速数据集进行数据清理和充实的产品。

『柒』 黑天鹅算法与大数据的四个层次

黑天鹅算法与大数据的四个层次简单来说 黑天鹅算法 对于数据 分为四个层次
1，原专始数据，例如属zw的足彩数据包 这个是最重要的2、统计分析数据 ，基于1进行各种基本统计分析3、黑天鹅素材库，基于2 ，对于盈利率kv>100（这个可以调整，一般高一点，150左右）的数据，记录这些数据的特征点4，将3记录的数据，作为知识库，建立黑天鹅知识库，模型库，xx库，名字无所谓
所有数据 消息 都已经体现在赔率里面
实盘时，就是找到和4知识库匹配的数据，可能不止一条，设定几个参数，筛选下具体细节 参数 需要实盘测试所以需要几个不同周期时段的实盘数据 多长优化 迭代
特征无所谓 每个字段都可以看做一个特征点不断优化 调整
对于庄家，赔率，大家要把握一点：平衡 一方面 庄家要赚钱 要设置陷阱 诱惑 一方面 庄家 不能赶尽杀绝 把大家全部吓住 以后就没有生意做了 这样一来 自然形成了一种生物学上的动态平衡 所以 有时间 多看看哲学 易经 对于理科生 没有害处

『捌』 互联网大数据是什么

大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

特征：

1、容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息。

2、种类（Variety）：数据类型的多样性。

3、速度（Velocity）：指获得数据的速度。

4、可变性（Variability）：妨碍了处理和有效地管理数据的过程。

5、真实性（Veracity）：数据的质量。

6、复杂性（Complexity）：数据量巨大，来源多渠道。

7、价值（value）：合理运用大数据，以低成本创造高价值。

(8)大数据的层次扩展阅读：

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

互联网大数据的八个趋势：数据的资源化，与云计算的深度结合，科学理论的突破，数据科学和数据联盟的成立，数据泄露泛滥，数据管理成为核心竞争力，数据质量是BI(商业智能)成功的关键，数据生态系统复合化程度加强。

网络-大数据