大数据平台建设背景

㈠ 大数据技术平台建设实践

[2015年技术沙龙分享]

因工作内容需要，在2010年初公司规划要建设大数据基础平台，以解决公司多业务多系统支持的混乱局面。因为有之前SNS平台的建设经验，深知一个“平台”的建设不是一个简单的项目，需要投入大量的人力、时间、资源，需要有良好的架构设计能力以及大数据技术的实践储备，是一个持续建设的过程，同时对一个中小企业而言，面临着“大”数据的处稿消伏理挑战。

一句话定义
互联网信息采集挖掘服务
扩展定义
互联网在线智能计算平台，面向公司内部产品研发和运营团队、第三方应用开发商及独立开发者，在研发政府、媒体、企业、财经、网站等领域的应用时，提供信息、情报、知识、行为、运算等方面的关键支持；

平台整体分为4大部分，同时也成立了4个团队，数据采集、数据存储、数据挖掘、数据接口。

问题1： 实时数据在处理过程有延时，时效性不高，业务要求数据处理的及时性在秒级响应
问题2：批处理数据方式效率不高，mfs本质还是文件遍历的方式，无法并行计算
问题3：关联数据的存储和分析

主要做了两个改动：

（1）加入分布式的消息中间件MQ
实键携时系统原来的轮循模式改为发布订阅模式
解耦流式数据处理和 批数据处理模式
（2）引入分桥孝布式存储以及并行计算Hadoop生态体系
存储规模增大，写入速度更高
批处理采用MapRece并行计算方式大幅提升历史数据效率

随着业界的技术发展以及公司业务的持续性发展，大数据平台也逐步引入了更多的开源技术体系

（1）技术方面

（2）业务方面

大数据平台的建设需要成熟的技术团队和公司大量成本的投入，在平台的建设过程中从业务发展、成本投入、技术方案上需要综合考虑，建议在有强烈的业务驱动力下再去投入，公司在平台的建设过程遇中到的各种技术问题很多，包括文中设计的整体架构随着业务的发展仍然面临着新的问题，后续再逐步分享。

㈡ 大数据发展背景及研究现状

2015年左右，大数据相关政策规划密集出台，同期为大数据企业新增数量顶峰时期。近年来，我国大数据产业迎来新的发展机遇期，产业规模日趋成熟。大数据产业主体从“硬”设施向“软”服务转变的态势将更加明显，面向金融、政务、电信、医疗等领域的大数据服务将实现倍增创新。

大数据企业数量持续增长，增速与政策出台密切相关

根据IT桔子统计，大数据企业的快速增长阶段出现在2013-2015年，增长速度在2015年达到最高峰。2015年后，市场日趋成熟，企业新增开始趋于放缓，大数据产业逐渐走向成熟。

—— 以上数据及分析均来自于前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》。

㈢ 建设纪检大数据监督平台的目的

一、建设背景
“数字监督”已然成为大数据时代权力监督体系不可或缺的一种新形态。此前，中央纪委国家监委也印发了《信息化工作规划（2018-2022年）》，明确要求为依规依纪依法履行好纪检、监察职能提供有力的科技辅助和技术支持。数字赋能权力监督是提升综合治理能力与时俱进的现实需要，是创新监督方式推动监督的工作理念，也是纪检监察高质量发展的必然要求。
二、解决问题
虽然利用大数羡橡据技术解决传统的干部权力监督问题是一种新型的有益的尝试，且随着互联网技术的发展在社会各个领域的迅速延伸，越来越多明明的政府部门开始去探索如何利用这一技术在权力监督工作中去发挥作用。但不能否认的是，在实践中权力监督的成效还有待进一步加强，仍存在一些亟待解决的突出问题。
例如监督部门对监管内容不明确、数据采集方式不全面，信息收集困难且效率低；各级纪委监委数据量较大，在信息化过程中缺乏平台整合，纪检监察相关数据未互联互通，使得业务数据“孤岛化”；传统的监督模式激派告效率低、时间周期长，整体问题统计起来较为困难并且精准度不够，相关领导无法掌握全区各级部门权力运行的整体情况，以及问题的趋势频率，难以决策。