數據治理後規范化提升多少

A. 數據治理三個階段是什麼

數據治理分為四個階段：

第一階段，梳理企業信息，構建企業的數據資產庫。首先要清楚企業的數據模型、數據關系，對企業資產形成業務視圖、技術視圖等針對不同用戶視角的展示。

第二階段，建立管理流程，落地數據標准，提升數據質量。從企業角度梳理質量問題，緊抓標准落地。

第三階段，直接為用戶提供價值。本階段依賴於前兩個階段的建設，為用戶提供方便的獲取數據的途徑。

第四階段，為企業提供數據價值。通過多種手段對多種來源的數據進行分析，形成企業知識圖譜，體現數據的深層價值。

通過這4個階段的建設，建立起全企業的數據質量管控平台，以用戶為中心，由用戶使用數據並通過用戶的使用優化數據質量，既達到了數據治理的目標，也最大限度的發揮了數據的價值。

數據治理方案：

有關數據治理的問題並不能在企業的單一部門得到解決。這需要IT與業務部門進行協作，而且必須始終如一地進行協作，以改善數據的可靠性和質量，從而為關鍵業務方案提供支持，並確保遵守法規。

Informatica能夠提供企業級數據治理解決方案，該解決方案可以在本地或雲中使用，在傳統數據或大數據中均有使用案例，可以滿足業務和IT部門的需求。

Informatica可提供功能齊全而又穩健可靠的數據治理解決方案，具備交付可信、安全的數據和啟動成功的元數據管理方案所需的全部精確功能。

Informatica Axon提供端到端智能數據治理解決方案，以整體、協作的方法將員工、流程和系統流暢融合，從而實現戰略業務成果。Axon Data Governance作為協作中心，為成功實施數據治理計劃提供支持。

B. 什麼是數據治理

什麼是數據治理

數據治理是逐步實現數據價值的過程，具體來說，數據治理是指將零散的用戶數據通過採集、傳輸、儲存等一系列標准化的流程變成格式規范、結構統一的數據，並有嚴格和規范的綜合數據管控;對這些標准化的數據進行進一步加工分析成為具有指導意義的業務監控報表、業務監控模型以幫助業務進行輔助決策。

在數據治理流程當中，涉及到了前端業務系統，後端業務資料庫系統再到業務終端的數據分析，從源頭到終端再回到源頭，形成的一個閉環負反饋系統?。同樣地，在數據治理流程當中，我們也需要一套標准化的規范來指導數據的採集、傳輸、儲存以及應用。

數據治理流程

數據治理流程是從數據規劃、數據採集、數據儲存管理到數據應用整個流程的無序到有序的過程也是標准化流程9的構建過程。根據每一個過程的特點，我們可以將數據治理流程總結為四個字，即「理」、「采」、「存」、「用」。

1.理:梳理業務流程，規劃數據資源

對於企業來說，每天的實時數據都會超過TB級別，需要採集用戶的哪些數據，這么多的數據放在哪裡，如何放，以什麼樣的方式放?這些問題都是需要事先進行規劃的，需要有一套從無序變為有序的流程，這個過程需要跨部門的協作，包括了前端、後端、數據工程師、數據分析師、項目經理等角色的參與。

2.采:ETL採集、去重、脫敏、轉換、關聯、去除異常值

前後端將採集到的數據給到數據部門，數據部門通過ETL工具將數據從來源端經過抽取(extract)、轉換(transform)、載入(load)至目的端的過程，目的是將散落和零亂的數據集中存儲起來。

3.存:大數據高性能存儲及管理

這么多的業務數據存在哪裡?這需要有一高性能的大數據存儲系統，在這套系統裡面將數據進行分門別類放到其對應的庫裡面，為後續的管理及使用提供最大的便利。

4.用:即時查詢、報表監控、智能分析、模型預測。

數據的最終目的就是輔助業務進行決策，前面的幾個流程都是為最終的查詢，分析，監控做鋪墊。這個階段就是數據分析師的主場，分析師們運用這些標准化的數據可以進行即時的查詢、指標體系和報表體系的建立，業務問題的分析，其至是模型的預測。

數據治理包括哪幾個方面？

數據治理是一套持續改善管理機制，通常包括了數據架構組織、數據模型、政策及體系制定、技術工具、數據標准、數據質量、影響度分析、作業流程、監督及考核等內容。從技術角度來看，數據治理涉及的IT技術主題包括元數據、數據標准、數據質量、數據集成、主數據、數據資產、數據交換、生命周期、數據安全多產品組成的一整套解決方案。

• 元數據：採集匯總企業系統數據屬性的信息，幫助各行各業用戶獲得更好的數據洞察力。

• 數據標准：對分散在各系統中的數據提供一套統一的數據命名、數據定義、數據類型、賦值規則等的定義基準，並通過標准評估確保數據在復雜數據環境中維持企業數據模型的一致性、規范性。

• 數據質量：有效識別各類數據質量問題，建立數據監管，形成數據質量管理體系，監控並揭示數據質量問題，提供問題明細查詢和質量改進建議。

• 數據集成：可對數據進行清洗、轉換、整合、模型管理等處理工作。既可以用於問題數據的修正，也可以用於為數據應用提供可靠的數據模型。

• 主數據：幫助企業創建並維護內部共享數據的單一視圖，從而提高數據質量，統一商業實體定義，簡化改進商業流程並提高業務的響應速度。

• 數據資產：匯集企業所有能夠產生價值的數據資源，為用戶提供資產視圖，快速了解企業資產，發現不良資產，為管理員提供決策依據，提升數據資產的價值。

• 數據交換：用於實現不同機構不同系統之間進行數據或者文件的傳輸和共享，提高信息資源的利用率。

• 數據安全：提供數據加密、脫敏、模糊化處理、賬號監控等各種數據安全策略，確保數據在使用過程中有恰當的認證、授權、訪問和審計等措施。

• 生命周期：管理數據生命周期，建立數據自動歸檔和銷毀，全面監控展現數據的生命過程。

C. 數據治理的好處有哪些

1、對數據的共同理解——數據治理為數據提供了一致的視圖和通用術語，同時各個業務部門保留了適當的靈活性。
2、提高數據質量——數據治理創建了一個確保數據准確性、完整性和一致性的計劃。

3、數據地圖——數據治理提供了一種高級能力，可以了解與關鍵實體相關的所有數據的位置，這是數據集成所必需的。就像GPS 可以代表物理景觀並幫助人們在未知景觀中找到方向一樣，數據治理使數據資產變得可用並且更容易與業務成果聯系起來。

4、每個客戶和其他業務實體的360 度視圖——數據治理建立了一個框架，以便企業可以就關鍵業務實體的“單一版本真相”達成一致，並在實體和業務活動之間創建適當的一致性級別。

5、一致的合規性— 數據治理提供了一個平台來滿足政府法規的要求，例如歐盟通用數據保護條例 (GDPR)、美國 HIPAA(健康保險流通與責任法案)和行業要求，例如 PCI DSS(支付卡行業數據安全標准)。

6、改進數據管理——數據治理將人的維度帶入高度自動化、數據驅動的世界。它建立了數據管理的行為准則和最佳實踐，確保傳統數據和技術領域(包括法律、安全和合規等領域)以外的問題和需求得到一致解決。

D. 對企業來說，數據治理的優勢有哪些

提升數據質量：建立數據質量進行定義、監測、分析、整改和評估的閉環管理機制，逐步提升全行數據治理；
加強源頭控制：從源頭控制數據質量，參照數據標准，培訓數據錄入人員與客戶經理熟悉相關的數據質量規范要求。把數據質量管理流程融入到業務管理流程中，通過流程去規范化數據操作；
統籌外部數據：明確外部數據管理工作，規范外部數據的採集、共享與應用流程，建立外部數據采購管理，數據資產的發布和維護等流程；
完善全行統一客戶視圖，建立統一產品信息管理：根據各類業務的信息歸類，針對不同的主數據特點，統一業務概念，促進數據信息的整合，建設或完善相應的客戶、產品、機構等主數據管理系統；
加大數據人才培養，智能工具應用：根據業務用數需求，配置並培養專業數據人員，加大數據可視化、商務智能工具應用，積極探索數據應用場景，以數據驅動內部管理和業務發展的持續提升；
數據分析挖掘：利用大數據實現信用風險管理，利用行內外大數據資源及人工智慧技術，將打分卡、策略、決策引擎等量化分析工具應用於風險管理 領域，提升風險管理水平；
統一數據口徑：在全行范圍對基礎數據標准和指標數據標准形成統一的認識，制定全行級的數據標准，明確指標及其相關基礎數據項的名稱、業務含義、加工口徑、應用場景、責任部門及權威系統等信息。

E. 大數據時代如何做好數據治理

企業數據分析系統的數據來源是各個業務系統或手工數據，這些數據的格式、內容等都有可能不同。如果不進行數據治理，數據的價值難以發揮。只有對數據標准進行規范，管理元數據、數據監控等，才能得到高質量的數據。得到規范的數據後，才可在此基礎上進行主題化的數據建模、數據挖掘、數據分析等。

2013年被眾多的IT人定義為中國的大數據元年，這一年國內的大數據項目開始在交通、電信、金融部門被廣泛推動。各大銀行對Hadoop的規劃、POC尤其風生水起，帶動了一波大數據應用的熱潮，這個熱潮和當初數據倉庫進入中國時的2000年左右很相似：應用還沒有想好，先歸集一下數據，提供一些查詢和報表，以技術建設為主，業務推動為輔。這就導致了這股Hadoop熱潮起來的時候，傳統企業都是以數據歸集為主的，而BAT這樣的企業則天生以數據為生，早早進入了數據驅動技術和業務創新的階段。

隨著Hadoop技術的提升，數據如何進來，如何整合，開展什麼樣的應用都已經有了成熟的案例，可是，同傳統數倉時代一樣，垃圾進垃圾出，如何破？相比傳統數倉時代，進入Hadoop集群的數據更加的多樣、更加的復雜、量更足，這個數倉時代都沒有處理好的事情，如何能夠在大數據時代處理好，這是所有大數據應用者最最期盼的改變，也是大數據平台建設者最有挑戰的難題：數據治理難的不是技術，而是流程，是協同，是管理。 睿治數據治理平台平台架構

元數據：採集匯總企業系統數據屬性的信息，幫助各行各業用戶獲得更好的數據洞察力，通過元數據之間的關系和影響挖掘隱藏在資源中的價值。

數據標准：對分散在各系統中的數據提供一套統一的數據命名、數據定義、數據類型、賦值規則等的定義基準，並通過標准評估確保數據在復雜數據環境中維持企業數據模型的一致性、規范性，從源頭確保數據的正確性及質量，並可以提升開發和數據管理的一貫性和效率性。

數據質量：有效識別各類數據質量問題，建立數據監管，形成數據質量管理體系，監控並揭示數據質量問題，提供問題明細查詢和質量改進建議，全面提升數據的完整性、准確性、及時性，一致性以及合法性，降低數據管理成本，減少因數據不可靠導致的決策偏差和損失。

數據集成：可對數據進行清洗、轉換、整合、模型管理等處理工作。既可以用於問題數據的修正，也可以用於為數據應用提供可靠的數據模型。

主數據：幫助企業創建並維護內部共享數據的單一視圖，從而提高數據質量，統一商業實體定義，簡化改進商業流程並提高業務的響應速度。

數據資產：匯集企業所有能夠產生價值的數據資源，為用戶提供資產視圖，快速了解企業資產，發現不良資產，為管理員提供決策依據，提升數據資產的價值。

數據交換：用於實現不同機構不同系統之間進行數據或者文件的傳輸和共享，提高信息資源的利用率，保證了分布在異構系統之間的信息的互聯互通，完成數據的收集、集中、處理、分發、載入、傳輸，構造統一的數據及文件的傳輸交換。

生命周期：管理數據生老病死，建立數據自動歸檔和銷毀，全面監控展現數據的生命過程。

數據安全：提供數據加密、脫敏、模糊化處理、賬號監控等各種數據安全策略，確保數據在使用過程中有恰當的認證、授權、訪問和審計等措施。

建立完整的、科學的、安全的、高質量的數據管控技術體系，是首要的任務。作為數據管控的基石，為了更好支撐後續工作的開展，技術體系必須一步到位，是功能完備、高質量、高擴展性的，而不是僅實現部分功能，或者功能不完善的「半成品」。

疊加更多業務數據、細化數據業務屬性與管理屬性、優化與調整數據管控流程，尤其是適應未來的現代企業數據管控制度的建立完善，是逐步積累推廣、不斷磨合改進的長期過程。這些工作應及早啟動，並成為後續大數據平台建設工作的重點。

談大數據時代的數據治理 當前要做的是功能框架的完善，而完善的著力點則是「數據資產目錄」：用資產化的視角來管理一個企業的數據，只有把數據作為資產來認識和管理，大數據項目才能達成預期，也能夠治理好。大數據時代帶來的價值，個人認為主要有兩個，一個是技術架構，主要是架構理念的進步，另外一個更重要的則是對數據的重視。大數據時代是數據的時代，IT向DT轉型，不單單是BAT，所有的IT公司，未來都在數據這兩個字上。

對於一個企業來說，把數據作為資產，才是建設大數據的最終目的，而不是僅僅是因為Hadoop架構帶來性價比和未來的擴展性。當一個企業把數據作為資產，他就像管理自己名下存摺、信用卡一樣，定期梳理，無時無刻不關心資產的變化情況，關注資產的質量。

而資產目錄就是管理資產的形式和手段，他像菜單一樣對企業的資產進行梳理、分門別類，提供給使用者；使用者通過菜單，點選自己需要的數據，認可菜單對應的後端處理價值，後廚通過適當的加工，推出相應的數據服務；這是一個標準的流程，而這些流程之上，附著一整套數據管理目標和流程。

大數據平台以數據資產目錄為核心，將元數據、數據標准、主數據、數據質量、數據生命周期、數據輪廓等信息在邏輯層面關聯起來，在管理層面上整合成統一的整體，構建起數據管理體系，全面的支持數據服務等具體應用。

大數據平台實現了數據存儲、清洗和應用。在數據匯入和匯出的過程中，需要對數據的元數據進行統一記錄和管理，以利於後續的數據應用和數據血緣分析。數據質量一直是數據集成系統的基礎工作，對數據的各個環節設置數據質量檢查點，對數據質量進行剖析、評估，以保證後續應用的可信度。

在數據收集的過程中，隨著數據維度、指標的聚集，如何找到所需的業務指標及屬性，並且評估相關屬性的業務及技術細節，需要對收集的所有數據進行業務屬性，並進行分類，建立完善的數據資產目錄。

數據資產目錄是整個大數據平台的數據管理基礎，而數據資產目錄由於數據的多樣性，在使用的過程中，必然涉及數據許可權的申請、審批管控流程，而管控流程的建立依賴於相應崗位的設立和對應職責的建立。

大數據平台的數據管理架構規劃，通過數據物理集中和數據邏輯整合，徹底擺脫企業「數據豎井」的困境。大數據平台數據管理架構分為功能架構、流向規劃和數據架構三個層面。

數據管理功能架構：借鑒DAMA數據管理和DMM數據成熟度理論，著眼於數據管理技術和數據管理流程融合，組織數據管理功能。

數據流向規劃架構：規劃整個大數據平台的數據流向，並在數據流入、數據整合、數據服務的具體環節實現精細化管理。

數據管理的數據架構：以數據資產目錄為核心，數據項為最小管理單元，將技術元數據（實體、屬性和關系）、業務元數據和管理元數據（數據標准、主數據、數據質量、數據安全）融合為彼此緊密聯系、密不可分的整體，共同構成精細化管理的數據基礎。

數據管理在整個大數據平台不僅僅是一個主要功能模塊，它還是整個企業層面數據治理的重要組成部分，它是技術和管理流程的融合，也需要合理管控流程框架下組織機構之前的協調合作。如何利用統一的數據管理模塊對企業所有進入到數據湖的數據進行有效管控，不單單取決於數據管理模塊本身，也取決於元數據的合理採集、維護，組織結構及制度的強力支持保證。

談大數據時代的數據治理 大數據平台數據管理參照了DAMA對於數據管理的九個管理目標，並進行裁剪，並對部分管理目標進行了合並，並參照了CMMI制定DMM數據成熟度目標，採用循序漸進，逐步完善的策略對管理目標進行分階段完成，制定完整的管控流程和數據治理規范，以便持續的對數據進行管理，遞進實現DMM定義的成熟度目標。

億信睿治數據治理管理平台和DAMA的對應關系如下：

談大數據時代的數據治理 大數據平台數據管理的核心內容是數據資產目錄，圍繞數據資產目錄的數據流入、數據整合、數據服務都是數據管理的核心。數據管理主要管理數據的流動，以及管理流動帶來的數據變化，並對數據底層的數據結構、數據定義、業務邏輯進行採集和管理，以利於當前和未來的數據使用。為了更好的對數據進行管理和使用，制度層面的建設、流程的設立必不可少，同時也兼顧到數據在流動過程中產生的安全風險和數據隱私風險。

因此數據管理介入到完整的數據流轉，並在每個節點都有相應的管理目標對應，整個數據流框架如下圖所示：

談大數據時代的數據治理 企業在建制大數據平台的同時，對進入數據湖的數據進行梳理，並按照數據資產目錄的形式對外發布。在發布數據資產之後，則對進出數據湖的數據進行嚴格的出入庫管理，保證數據可信度，並定期進行數據質量剖析檢查，確保數據資產完善、安全、可信，避免「不治理便破產」的讖言。