大数据工作流系统

❶ 大数据系统有哪些

大数据可视化系统（一）思迈特软件Smartbi

思迈特软件Smartbi是一款商业智能BI工具，做数据分析和可视化数据展现，以分析为主，提供多种数据接入方式，可视化功能强大，平台更适合掌握分析方法了解分析的思路的用户，其他用户的使用则依赖于分析师的结果输出。

Smartbi也是小编找了很久感觉很不错的一款大数据可视化系统。其中还有很多对数据处理的公式和方法，图表也比较全面。相对于网络的echarts，Smartbi还是一款比较容易入手的数据分析工具。最后，Smartbi提供了免费的版本，功能齐全，更加适合个人对数据分析的学习和使用。

大数据可视化系统（二）ChartBlocks

ChartBlocks是一款网页版的大数据可视化系统，在线使用。通过导入电子表格或者数据库来构建可视化图表。整个过程可以在图表的向导指示下完成。它的图表在HTML5的框架下，使用强大的javaScript库D3js来创建图表。

图表是响应式的，可以和任何的屏幕尺寸及设备兼容。还可以将图表嵌入任何网页中。

大数据可视化系统（三）Tableau

Tableau公司将数据运算与美观的图表完美地嫁接在一起。它的程序很容易上手，各公司可以用它将大量数据拖放到数字”画布”上，转眼间就能创建好各种图表。这一软件的理念是，界面上的数据越容易操控，公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。

它们都是为与大数据有关的组织设计的。企业使用这个工具非常方便，而且提供了闪电般的速度。还有一件事对这个工具是肯定的，Tableau具有用户友好的特性，并与拖放功能兼容。但是在大数据方面的性能有所缺陷，每次都是实时查询数据，如果数据量大，会卡顿。

大数据可视化系统（四）AntV

AntV是蚂蚁金服的大数据可视化系统，主要包含专注解决流程与关系分析的图表库G6、适于对性能、体积、扩展性要求严苛场景下使用的移动端图表库F2以及一套完整的图表使用指引和可视化设计规范。

已为阿里集团内外2000+个业务系统提供数据可视化能力，其中不乏日均千万UV级的产品。

❷ 大数据调度平台分类(Oozie/Azkaban/AirFlow/DolphinScheler)

大数据调度系统，是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结，结合目前阿里云上的MaxCompute中的调度系统，做个对比。

Oozie是一个workflow(工作流)协调系统,是由Cloudera公司贡献给Apache的,主要用来管理Hadoop作业(job)。

统一调度hadoop系统中常见的mr任务启动、Java MR、Streaming MR、Pig、Hive、Sqoop、Spark、Shell等。

配置相关的调度任务复杂，依赖关系、时间触发、事件触发使用xml语言进行表达。

任务状态、任务类型、任务运行机器、创建时间、启动时间、完成时间等。

支持启动/停止/暂停/恢复/重新运行：支持启动/停止/暂停/恢复/重新运行。

可以通过DB支持HA(高可用)。调度任务时可能出现死锁，依赖当前集群版本，如更新最新版，易于现阶段集群不兼容。

Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系，这个依赖关系必须是无环的，否则会被视为无效的工作流。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

command、HadoopShell、Java、HadoopJava、Pig、Hive等，支持插件式扩展。

实际项目中经常有这些场景：每天有一个大任务，这个大任务可以分成A，B，C，D四个小任务，A，B任务之间没有依赖关系，C任务依赖A，B任务的结果，D任务依赖C任务的结果。一般的做法是，开两个终端同时执行A,B，两个都执行完了再执行C，最后再执行D。这样的话，整个的执行过程都需要人工参加，并且得盯着各任务的进度。但是我们的很多任务都是在深更半夜执行的，通过写脚本设置crontab执行。其实，整个过程类似于一个有向无环图（DAG）。每个子任务相当于大任务中的一个流，任务的起点可以从没有度的节点开始执行，任何没有通路的节点之间可以同时执行，比如上述的A，B。总结起来的话，我们需要的就是一个工作流的调度器，而Azkaban就是能解决上述问题的一个调度器。

提供job配置文件快速建立任务和任务之间的依赖关系，通过自定义DSL绘制DAG并打包上传。

只能看到任务状态。

只能先将工作流杀死在重新运行。

通过DB支持HA，任务太多时会卡死服务器。

Airflow 是 Airbnb 开源的一个用 Python 编写的调度工具。于 2014 年启动，2015 年春季开源，2016 年加入 Apache 软件基金会的孵化计划。Airflow 通过 DAG 也即是有向非循环图来定义整个工作流，因而具有非常强大的表达能力。

支持Python、Bash、HTTP、Mysql等，支持Operator的自定义扩展。

需要使用Python代码来定义流程。

不直观。

杀掉任务，重启。

任务过多会卡死。

XXL-JOB是一个开源的，具有丰富的任务管理功能以及高性能，高可用等特点的轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用。

基于Java。

无，但是可以配置任务之间的依赖。

无

可以暂停、恢复。

支持HA。任务是基于队列的，轮询机制。

DolphinScheler是今年（2019年）中国易观公司开源的一个调度系统，在今年美国时间2019年8月29号，易观开源的分布式任务调度引擎DolphinScheler（原EasyScheler）正式通过顶级开源组织Apache基金会的投票决议，根据Apache基金会邮件列表显示，在包含11个约束性投票(binding votes)和2个无约束性投票(non-binding votes)的投票全部持赞同意见，无弃权票和反对票，投票顺利通过，这样便以全票通过的优秀表现正式成为了Apache孵化器项目。

Apache DolphinScheler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

支持传统的shell任务，同时支持大数据平台任务调度：MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procere、sub_process。

所有流、定时操作都是可视化的，通过拖拽来绘制DAG,配置数据源及资源，同时对于第三方系统，提供api方式的操作。

任务状态、任务类型、重试次数、任务运行机器、可视化变量，以及任务流执行日志。

支持暂停、恢复、补数操作。

支持HA，去中心化的多Master和多Worker。DolphinScheler上的用户可以通过租户和hadoop用户实现多对一或一对一的映射关系。无法做到细节的权限管控。

任务队列机制，单个机器上可调度的任务数量可以灵活配置，当任务过多时会缓存在任务队列中，不会操作机器卡死。

调度器使用分布式调度，整体的调度能力会随集群的规模线性正常，Master和Worker支持动态上下线，可以自由进行配置。

可以通过对用户进行资源、项目、数据源的访问授权。支持，可视化管理文件，及相关udf函数等。

❸ 大数据分析系统平台方案有哪些

目前常用的大数据解决方案包括以下几类
一、Hadoop。Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
二、HPCC。HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。HPCC主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

三、Storm。Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来
四、Apache Drill。为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

❹ 大数据操作系统

大数据操作系统（英文：BigData-Operating System）是一款全流程、可视化、智能化的企业级大数据操作版系统。
其亮点主要有三个权方面：
1、开创了面向数据流程的架构(DPOA)的方法论，基于既定的业务逻辑，DPOA定义相应的数据处理流程，并自动生成底层技术架构，将业务语言转化为大数据处理语言。
2、操作系统是一个高效的数据作业平台，它融入了数据流程管理(DPM)的思想，将业务链条中的各个环节和相互之间的关系，映射成对数据集、数据关系和处理逻辑的管理，通过对数据流程的创建、组合、调度和监控，将业务流程管理转化为数据流程管理。
3、系统采用了企业级服务总线(ESB)的理念，支持以热插拔的方式灵活集成各种异构系统及数据服务。即使是企业的传统IT系统，也能便捷并低成本地融入主流大数据架构。

❺ 协同办公系统中的大数据知多少

协同办公系统中的大数据知多少

协同办公系统中有哪些重要的数据，可以做到这么多事情呢?可以说，企业内的人事数据、财务数据、业务数据、生产数据、项目数据、调查数据等都可以在协同办公系统中生成，它们是如何生成的呢?

通过对华天动力协同办公系统用户的调研，我们发现数据来自两个方面：

一方面，数据来自协同办公系统自身的生成。

首先，协同办公系统的工作流表单中包含了大量财务、人事、业务、行政等数据，这些数据在审批完毕后就会保存在协同办公系统中，日积月累，就成为一个庞大的数据库，也是一笔宝贵的财富。

其次，协同办公系统的任务管理、人事管理、知识管理、客户管理等功能中也会产生大量的数据，当这些功能中的数据积累到一定量级后，就会形成各种有意义的统计报表，为经营管理和决策提供科学依据。

另一方面，数据来自协同办公系统外部的整合。

作为一种面向企业管理的工具，协同办公系统正成为一个数据集成和展示的平台，各种数据在这里汇总，统一提供给管理者使用。有的企业在协同办公系统中构建接口，提取第三方业务系统的数据;有的企业在协同办公系统中设置数据窗口，直接由人工录入数据。这些工作使得协同办公系统中的数据越来越多，也越来越有价值。

既然数据有了，那么问题来了，怎么利用好这些数据呢?

优秀的协同办公系统提供了强大的报表工具，可以对系统内的数据进行及时、准确的汇总和统计。

以华天动力协同办公系统为例，它集成了国内最为领先的报表工具，可以让用户轻松自定义各种类型的统计报表和展示图形，如条状图、饼状图等，对系统内的数据实现360度无死角的统计汇总。

这些统计报表设置完成后，就可以自动实时更新，并且可以直接推送给相关主管查阅。重要的`是，所有的数据都支持穿透查询，可以一直追溯到数据的源头。

华天动力协同办公系统还提供了“管理驾驶舱”的功能，在一个界面上向管理者集中展示各种统计报表和图形，这就是充分利用大数据的直观表现。

在优秀的协同办公系统身上，对数据的应用已经非常好。基于商业智能的理念，协同办公系统可以将数据以不同诉求、不同纬度、更细的粒度呈现给管理者，让管理者通过这种直观、客观、美观的方式，更智慧更理性地做出判断以及预测，从而制定合理的决策。 ;

❻ 大数据开发：Azkaban和Oozie调度系统对比

大数据处理的各个环节当中，涉及到诸多的任务执行，为了保证系统的性能和运行效率，就需要对这些任务进行合理的安排，这就需要到调度系统。在调度系统当中，DAG工作流类调度系统以Azkaban和Oozie为代表。今天的大数据开发分享，我们就主要来讲讲Azkaban和Oozie调度系统对比。

所谓DAG工作流类调度系统，这一类系统的方向，重点定位于任务的调度依赖关系的正确处理，分片执行的逻辑通常不是系统关注的核心，或者不是系统核心流程的关键组成部分，如果某些任务真的关注分片逻辑，往往交给后端集群（比如MR任务自带分片能力）或者具体类型的任务执行后端去实现。

DAG工作流类调度系统所服务的往往是作业繁多，作业之间的流程依赖比较复杂的场景，比如大数据开发平台的离线数仓报表处理业务，从数据采集，清洗，到各个层级的报表的汇总运算，到最后数据导出到外部业务系统，一个完整的业务流程，可能涉及到成百上千个相互交叉依赖关联的作业。

这类系统的代表，包括Oozie，Azkaban，Chronos，Zeus，Lhotse等，这里我们选取前两者，从功能、工作流定义、工作流传参、定时执行、资源管理、工作流执行等方面来进行分析比对：

1、功能

Azkaban与Oozie均可以调度maprece、pig、java脚本工作流任务。

Azkaban与Oozie均可以定时执行工作流任务。

2、工作流定义

Azkaban使用Properties文件定义工作流。

Oozie使用XML文件定义工作流。

3、工作流传参

Azkaban支持直接传参，例如${input}。

Oozie支持参数和EL表达式，例如${fs:dirSize(myInputDir)}。

4、定时执行

Azkaban的定时执行任务是基于时间的。

Oozie的定时执行任务是基于时间和输入数据资源管理。

5、工作流执行

Azkaban有两种运行模式，分别是solo server mode(executor server和web server部署在同⼀台节点)和multi server mode(executor server和web server可以部署在不同节点)。

Oozie作为工作流服务运行，支持多用户和多工作流。

综上所述，Ooize相比Azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂(xml)。如果可以不在意某些功能的缺失，轻量级调度Azkaban是很不错的候选对象。

关于大数据开发，Azkaban和Oozie调度系统，以上就为大家做了简单的介绍了。相对来说，Oozie调度系统更加全面，但是也更加复杂，在学习当中，也要多花精力去掌握。

❼ 大数据分析系统具体指的是什么

随着大数据时代的来临，大数据分析应运而生。据我所知，九舞数字已经拥有了大数内据分析系统容。这个系统包括：智能大数据分析、智能招商成果统计、独立账号管理。再详细点就是智能大数据分析是根据二维码微沙盘扫描成果，在后台生成大数据追踪系统，形成不同时段的大数据分析，并分析传播效果；智能招商成果的统计是根据不同客户的访问量，分析出意向客户的存在，筛选优质客户，确定意向后拜访交流，节约人力输出，减少时间浪费；独立账号管理是根据不同招商主体，设定不同权限的账号，每个账号旗下的招商信息均可生成独立报表。