大数据计算模式

1. 大数据存储与管理多采用什么计算及存储模式

大数据存储与管理多采用云计算以及仓库存储模式。

大数据似乎难以管理，就像一个永无休止统计数据的复杂的漩涡。因此，将信息精简到单一的公司位置似乎是明智的，这是一个仓库，其中所有的数据和服务器都可以被充分地规划指定。

大数据存储方式：

存储管理需要多种技术的协同工作，其中文件系统为其提供最底层存储能力的支持。 分布式文件系统HDFS 是一个高度容错性系统，被设计成适用于批量处理，能够提供高吞吐量的的数据访问。 分布式键值系统：分布式键值系统用于存储关系简单的半结构化数据。

2. 大数据是什么，是怎么带动经济发展的

大数据的概念

概念：难以用常规的数据库工具获取、存储、管理、分析的数据集合。

特征：

1、数据量大：起始单位是PB级的。

1KB=1024B

1MB=1024KB

1GB=1024MB

1TB=1024GB

1PB=1024TB

1EB=1024PB

1ZB=1024EB

2、类型多：

结构化、板结构化、非结构化：网诺日志、音频、视频、图片、地理位置等信息混杂。

3、价值密度低：

获取数据的价值就像是淘金一般。

4、速度快时效高：

数据呈指数倍增长，时效性要求高，比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能的完成实时推荐。

5、永远在线：

大数据时代的数据是永远在线的，随时应用计算，这也是区别于传统的数据的最大特征。

大数据从哪来

1、搜索引擎服务

网络数据量1000PB，每天响应138个国家数十亿次请求，每日新增10TB

2、电子商务

3、社交网络

QQ：8.5亿用户，用4400台服务器存储用户产生的信息，压缩后的数据100PB，每天新增200~300TB

4、音视频在线服务

5、个人数据业务

6、地理信息数据

7、传统企业

8、公共机构

智慧城市：摄像头拍摄的图片，1080P高清网络摄像机一月产生1.8TB数据，大点的城市50万个摄像头，一个月3PB的数据量。

医疗、中国的气象系统。

大数据的存储与计算模式

存储：

面临的问题：数据量大、类型复杂（结构化、非结构化、半结构化）

关键技术：

1、分布式文件系统（高效元数据管理技术、系统弹性扩展技术、存储层级内的优化、针对应用和负载的存储优化技术、针对存储器件的优化技术）

2、分布式数据库

事务性数据库技术：NoSQL：（支持非关系数据库、具有多个节点分割和复制数据的能力、用最终一致性机制解决并发读操作与控制问题、充分利用分布式索引及内存提高性能）代表有：BigTable、HBase、MongoDB、Dynamo。

分析型的数据库技术：Hive 、Impala

3、大数据索引和查询技术

4、实时流式大数据存储与处理技术

计算：

面临的问题：数据结构特征、并行计算（以分布式文件为基础的Hadoop以分布式内存缓存为基础的Spark）、数据获取（批处理流处理）、数据处理类型（传统查询数据挖掘分析计算）、实时响应性能、迭代计算、数据关联性（先map一下再rece一下）。

关键技术：

1、大数据查询分析计算模式与技术：HBase、Hive、Cassandra、Impala

2、批处理计算：Hadoop MapRece、Spark

3、流式计算：Storm、Spark Steaming

4、图计算：Giraph、GraphX

5、内存计算：Spark、Hana（SAP公司全内存式分布式数据库系统）、Dremel

应用领域

1、智慧医疗（临床数据、公共卫生数据、移动医疗健康数据）（共享疾病案例，基因分类参考）

2、智慧农业（主要指依据商业需求进行农产品生产，降低菜残伤农概率）

3、金融行业：

精准的营销：根据可与习惯进行推销

风险管控：根据用户的交易流水实施反欺诈

决策支持：抵押贷款这一块，实施产业信贷的风险控制。

效率提升：加快内部数据处理。

产品设计：根据客户的投资行为设计满足客户需求的金融产品。

4、零售行业（对零售商来说：精准营销（降低营销成本，扩大营销额）；对厂商：降低产品过剩）

5、电子商务行业

6、电子政务

希望对您有所帮助！~

3. 大数据的计算模式

1，大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

2，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。

他俩之间的关系你可以这样来理解，云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。

(3)大数据计算模式扩展阅读：

大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。

云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而解决用户因为存储计算资源不足所带来的问题。

大数据正是因为数据的爆发式增长带来的一个新的课题内容，如何存储如今互联网时代所产生的海量数据，如何有效的利用分析这些数据等等。

大数据的趋势：

趋势一：数据的资源化

何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。

趋势二：与云计算的深度结合

大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。

趋势三：科学理论的突破

随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

4. 大数据技术的发展方向有哪些

1、在大数据采集与预处理方向

这方向最常见的问题是数据的多源和多样性，导致数据的质量存在差异，严重影响到数据的可用性。针对这些问题，目前很多公司已经推出了多种数据清洗和质量控制工具(如IBM的Data Stage)。

2、在大数据存储与管理方向

这方向最常见的挑战是存储规模大，存储管理复杂，需要兼顾结构化、非结构化和半结构化的数据。分布式文件系统和分布式数据库相关技术的发展正在有效的解决这些方面的问题。在大数据存储和管理方向，尤其值得我们关注的是大数据索引和查询技术、实时及流式大数据存储与处理的发展。

3、大数据计算模式方向

由于大数据处理多样性的需求，目前出现了多种典型的计算模式，包括大数据查询分析计算(如Hive)、批处理计算(如Hadoop MapRece)、流式计算(如Storm)、迭代计算(如HaLoop)、图计算(如Pregel)和内存计算(如Hana)，而这些计算模式的混合计算模式将成为满足多样性大数据处理和应用需求的有效手段。

4、大数据分析与挖掘方向

在数据量迅速膨胀的同时，还要进行深度的数据深度分析和挖掘，并且对自动化分析要求越来越高，越来越多的大数据数据分析工具和产品应运而生，如用于大数据挖掘的R Hadoop版、基于MapRece开发的数据挖掘算法等。

5. 在大数据的计算模式中流计算解决的是什么问题

在大数据的计算模式中流计算解决的是针对流数据的实时计算问题。根据查询相关公开信息显示，针对流数据的实时计算是大数据的计算模式中急需解决的问题，大数据计算模式，即根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型。

6. 哪个不是大数据的计算模式

1.批处理计算模式
针对大规模数据的批量处理。批处理系统将并行计算的实现进行封装，大大降低开发人员的并行程序设计难度。目前主要的批处理计算系统代表产品有MapRece、Spark等。

2.流计算
流计算是针对流数据的实时计算，需要对应用不断产生的数据实时进行处理，使数据不积压、不丢失，常用于处理电信、电力等行业应用以及互联网行业的访问日志等。
代表产品有Storm、Flume、Scribe、S4、Streams、Puma、DStream、Super Mario等。

3.图计算
图计算针对大规模图结构数据进行处理。社交网络、网页链接等包含具有复杂关系的图数据，这些图数据的规模巨大，可包含数十亿顶点和上百亿条边，图数据需要由专门的系统进行存储和计算。
常用的图计算系统有Google公司的Pregel、Pregel的开源版本Giraph、微软的Trinity、Berkeley AMPLab的GraphX以及高速图数据处理系统PowerGraph、Hama、GoldenOrb等。

4.内存计算
随着内存价格的不断下降和服务器可配置内存容量的不断增长，使用内存计算完成高速的大数据处理已成为大数据处理的重要发展方向。
目前常用的内存计算系统有分布式内存计算系统Spark、全内存式分布式数据库系统HANA、Google的可扩展交互式查询系统Dremel。

5.查询分析计算
对大规模数据的存储管理和实时或准实时查询分析。目前主要的数据查询分析计算系统代表产品有HBase、Hive、Dremel、Cassandra、Shark、Hana、Impala等。

6.迭代计算
针对MapRece不支持迭代计算的缺陷，人们对Hadoop的MapRece进行了大量改进，Haloop、iMapRe

7. 大数据计算方式有哪些

视化分析 不管是对数据分析专家还是普通用户,数据可视化是数据分析工具最基本的要求.可视化可以直观的展示数据。大数据计算方式有流式计算，分布式计算，典型系统hadoop cloudra。

8. 材料的大数据计算有哪几类

材料的大数据计算有4类。针对不同类型的数据，大数据计算模式也不同，可分为四种，批处理计算，流式计算，交互式查询计算，图计算。

9. 流式计算与批量计算有什么区别

大数据的计算模式主要分为批量计算(batch computing)、流式计算(stream computing)、交互计算(interactive computing)、图计算(graph computing)等。其中，流式计算和批量计算是两种主要的大数据计算模式，分别适用于不同的大数据应用场景。

流数据（或数据流）是指在时间分布和数量上无限的一系列动态数据集合体，数据的价值随着时间的流逝而降低，因此必须实时计算给出秒级响应。流式计算，顾名思义，就是对数据流进行处理，是实时计算。

批量计算则统一收集数据，存储到数据库中，然后对数据进行批量处理的数据计算方式。主要体现在以下几个方面：

1、数据时效性不同：流式计算实时、低延迟， 批量计算非实时、高延迟。

2、数据特征不同：流式计算的数据一般是动态的、没有边界的，而批处理的数据一般则是静态数据。

3、应用场景不同：流式计算应用在实时场景，时效性要求比较高的场景，如实时推荐、业务监控...批量计算一般说批处理，应用在实时性要求不高、离线计算的场景下，数据分析、离线报表等。

4、运行方式不同，流式计算的任务持续进行的，批量计算的任务则一次性完成。

10. 针对流数据的实时计算采用什么大数据计算模式

针对留数据的实时计算，采用什么大数据计算模式，我也不是很清楚。