大數據平台建設背景

㈠ 大數據技術平台建設實踐

[2015年技術沙龍分享]

因工作內容需要，在2010年初公司規劃要建設大數據基礎平台，以解決公司多業務多系統支持的混亂局面。因為有之前SNS平台的建設經驗，深知一個「平台」的建設不是一個簡單的項目，需要投入大量的人力、時間、資源，需要有良好的架構設計能力以及大數據技術的實踐儲備，是一個持續建設的過程，同時對一個中小企業而言，面臨著「大」數據的處稿消伏理挑戰。

一句話定義
互聯網信息採集挖掘服務
擴展定義
互聯網在線智能計算平台，面向公司內部產品研發和運營團隊、第三方應用開發商及獨立開發者，在研發政府、媒體、企業、財經、網站等領域的應用時，提供信息、情報、知識、行為、運算等方面的關鍵支持；

平台整體分為4大部分，同時也成立了4個團隊，數據採集、數據存儲、數據挖掘、數據介面。

問題1： 實時數據在處理過程有延時，時效性不高，業務要求數據處理的及時性在秒級響應
問題2：批處理數據方式效率不高，mfs本質還是文件遍歷的方式，無法並行計算
問題3：關聯數據的存儲和分析

主要做了兩個改動：

（1）加入分布式的消息中間件MQ
實鍵攜時系統原來的輪循模式改為發布訂閱模式
解耦流式數據處理和 批數據處理模式
（2）引入分橋孝布式存儲以及並行計算Hadoop生態體系
存儲規模增大，寫入速度更高
批處理採用MapRece並行計算方式大幅提升歷史數據效率

隨著業界的技術發展以及公司業務的持續性發展，大數據平台也逐步引入了更多的開源技術體系

（1）技術方面

（2）業務方面

大數據平台的建設需要成熟的技術團隊和公司大量成本的投入，在平台的建設過程中從業務發展、成本投入、技術方案上需要綜合考慮，建議在有強烈的業務驅動力下再去投入，公司在平台的建設過程遇中到的各種技術問題很多，包括文中設計的整體架構隨著業務的發展仍然面臨著新的問題，後續再逐步分享。

㈡ 大數據發展背景及研究現狀

2015年左右，大數據相關政策規劃密集出台，同期為大數據企業新增數量頂峰時期。近年來，我國大數據產業迎來新的發展機遇期，產業規模日趨成熟。大數據產業主體從「硬」設施向「軟」服務轉變的態勢將更加明顯，面向金融、政務、電信、醫療等領域的大數據服務將實現倍增創新。

大數據企業數量持續增長，增速與政策出台密切相關

根據IT桔子統計，大數據企業的快速增長階段出現在2013-2015年，增長速度在2015年達到最高峰。2015年後，市場日趨成熟，企業新增開始趨於放緩，大數據產業逐漸走向成熟。

—— 以上數據及分析均來自於前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》。

㈢ 建設紀檢大數據監督平台的目的

一、建設背景
「數字監督」已然成為大數據時代權力監督體系不可或缺的一種新形態。此前，中央紀委國家監委也印發了《信息化工作規劃（2018-2022年）》，明確要求為依規依紀依法履行好紀檢、監察職能提供有力的科技輔助和技術支持。數字賦能權力監督是提升綜合治理能力與時俱進的現實需要，是創新監督方式推動監督的工作理念，也是紀檢監察高質量發展的必然要求。
二、解決問題
雖然利用大數羨橡據技術解決傳統的幹部權力監督問題是一種新型的有益的嘗試，且隨著互聯網技術的發展在社會各個領域的迅速延伸，越來越多明明的政府部門開始去探索如何利用這一技術在權力監督工作中去發揮作用。但不能否認的是，在實踐中權力監督的成效還有待進一步加強，仍存在一些亟待解決的突出問題。
例如監督部門對監管內容不明確、數據採集方式不全面，信息收集困難且效率低；各級紀委監委數據量較大，在信息化過程中缺乏平台整合，紀檢監察相關數據未互聯互通，使得業務數據「孤島化」；傳統的監督模式激派告效率低、時間周期長，整體問題統計起來較為困難並且精準度不夠，相關領導無法掌握全區各級部門權力運行的整體情況，以及問題的趨勢頻率，難以決策。