数据治理后规范化提升多少

A. 数据治理三个阶段是什么

数据治理分为四个阶段：

第一阶段，梳理企业信息，构建企业的数据资产库。首先要清楚企业的数据模型、数据关系，对企业资产形成业务视图、技术视图等针对不同用户视角的展示。

第二阶段，建立管理流程，落地数据标准，提升数据质量。从企业角度梳理质量问题，紧抓标准落地。

第三阶段，直接为用户提供价值。本阶段依赖于前两个阶段的建设，为用户提供方便的获取数据的途径。

第四阶段，为企业提供数据价值。通过多种手段对多种来源的数据进行分析，形成企业知识图谱，体现数据的深层价值。

通过这4个阶段的建设，建立起全企业的数据质量管控平台，以用户为中心，由用户使用数据并通过用户的使用优化数据质量，既达到了数据治理的目标，也最大限度的发挥了数据的价值。

数据治理方案：

有关数据治理的问题并不能在企业的单一部门得到解决。这需要IT与业务部门进行协作，而且必须始终如一地进行协作，以改善数据的可靠性和质量，从而为关键业务方案提供支持，并确保遵守法规。

Informatica能够提供企业级数据治理解决方案，该解决方案可以在本地或云中使用，在传统数据或大数据中均有使用案例，可以满足业务和IT部门的需求。

Informatica可提供功能齐全而又稳健可靠的数据治理解决方案，具备交付可信、安全的数据和启动成功的元数据管理方案所需的全部精确功能。

Informatica Axon提供端到端智能数据治理解决方案，以整体、协作的方法将员工、流程和系统流畅融合，从而实现战略业务成果。Axon Data Governance作为协作中心，为成功实施数据治理计划提供支持。

B. 什么是数据治理

什么是数据治理

数据治理是逐步实现数据价值的过程，具体来说，数据治理是指将零散的用户数据通过采集、传输、储存等一系列标准化的流程变成格式规范、结构统一的数据，并有严格和规范的综合数据管控;对这些标准化的数据进行进一步加工分析成为具有指导意义的业务监控报表、业务监控模型以帮助业务进行辅助决策。

在数据治理流程当中，涉及到了前端业务系统，后端业务数据库系统再到业务终端的数据分析，从源头到终端再回到源头，形成的一个闭环负反馈系统?。同样地，在数据治理流程当中，我们也需要一套标准化的规范来指导数据的采集、传输、储存以及应用。

数据治理流程

数据治理流程是从数据规划、数据采集、数据储存管理到数据应用整个流程的无序到有序的过程也是标准化流程9的构建过程。根据每一个过程的特点，我们可以将数据治理流程总结为四个字，即“理”、“采”、“存”、“用”。

1.理:梳理业务流程，规划数据资源

对于企业来说，每天的实时数据都会超过TB级别，需要采集用户的哪些数据，这么多的数据放在哪里，如何放，以什么样的方式放?这些问题都是需要事先进行规划的，需要有一套从无序变为有序的流程，这个过程需要跨部门的协作，包括了前端、后端、数据工程师、数据分析师、项目经理等角色的参与。

2.采:ETL采集、去重、脱敏、转换、关联、去除异常值

前后端将采集到的数据给到数据部门，数据部门通过ETL工具将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程，目的是将散落和零乱的数据集中存储起来。

3.存:大数据高性能存储及管理

这么多的业务数据存在哪里?这需要有一高性能的大数据存储系统，在这套系统里面将数据进行分门别类放到其对应的库里面，为后续的管理及使用提供最大的便利。

4.用:即时查询、报表监控、智能分析、模型预测。

数据的最终目的就是辅助业务进行决策，前面的几个流程都是为最终的查询，分析，监控做铺垫。这个阶段就是数据分析师的主场，分析师们运用这些标准化的数据可以进行即时的查询、指标体系和报表体系的建立，业务问题的分析，其至是模型的预测。

数据治理包括哪几个方面？

数据治理是一套持续改善管理机制，通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核等内容。从技术角度来看，数据治理涉及的IT技术主题包括元数据、数据标准、数据质量、数据集成、主数据、数据资产、数据交换、生命周期、数据安全多产品组成的一整套解决方案。

• 元数据：采集汇总企业系统数据属性的信息，帮助各行各业用户获得更好的数据洞察力。

• 数据标准：对分散在各系统中的数据提供一套统一的数据命名、数据定义、数据类型、赋值规则等的定义基准，并通过标准评估确保数据在复杂数据环境中维持企业数据模型的一致性、规范性。

• 数据质量：有效识别各类数据质量问题，建立数据监管，形成数据质量管理体系，监控并揭示数据质量问题，提供问题明细查询和质量改进建议。

• 数据集成：可对数据进行清洗、转换、整合、模型管理等处理工作。既可以用于问题数据的修正，也可以用于为数据应用提供可靠的数据模型。

• 主数据：帮助企业创建并维护内部共享数据的单一视图，从而提高数据质量，统一商业实体定义，简化改进商业流程并提高业务的响应速度。

• 数据资产：汇集企业所有能够产生价值的数据资源，为用户提供资产视图，快速了解企业资产，发现不良资产，为管理员提供决策依据，提升数据资产的价值。

• 数据交换：用于实现不同机构不同系统之间进行数据或者文件的传输和共享，提高信息资源的利用率。

• 数据安全：提供数据加密、脱敏、模糊化处理、账号监控等各种数据安全策略，确保数据在使用过程中有恰当的认证、授权、访问和审计等措施。

• 生命周期：管理数据生命周期，建立数据自动归档和销毁，全面监控展现数据的生命过程。

C. 数据治理的好处有哪些

1、对数据的共同理解——数据治理为数据提供了一致的视图和通用术语，同时各个业务部门保留了适当的灵活性。
2、提高数据质量——数据治理创建了一个确保数据准确性、完整性和一致性的计划。

3、数据地图——数据治理提供了一种高级能力，可以了解与关键实体相关的所有数据的位置，这是数据集成所必需的。就像GPS 可以代表物理景观并帮助人们在未知景观中找到方向一样，数据治理使数据资产变得可用并且更容易与业务成果联系起来。

4、每个客户和其他业务实体的360 度视图——数据治理建立了一个框架，以便企业可以就关键业务实体的“单一版本真相”达成一致，并在实体和业务活动之间创建适当的一致性级别。

5、一致的合规性— 数据治理提供了一个平台来满足政府法规的要求，例如欧盟通用数据保护条例 (GDPR)、美国 HIPAA(健康保险流通与责任法案)和行业要求，例如 PCI DSS(支付卡行业数据安全标准)。

6、改进数据管理——数据治理将人的维度带入高度自动化、数据驱动的世界。它建立了数据管理的行为准则和最佳实践，确保传统数据和技术领域(包括法律、安全和合规等领域)以外的问题和需求得到一致解决。

D. 对企业来说，数据治理的优势有哪些

提升数据质量：建立数据质量进行定义、监测、分析、整改和评估的闭环管理机制，逐步提升全行数据治理；
加强源头控制：从源头控制数据质量，参照数据标准，培训数据录入人员与客户经理熟悉相关的数据质量规范要求。把数据质量管理流程融入到业务管理流程中，通过流程去规范化数据操作；
统筹外部数据：明确外部数据管理工作，规范外部数据的采集、共享与应用流程，建立外部数据采购管理，数据资产的发布和维护等流程；
完善全行统一客户视图，建立统一产品信息管理：根据各类业务的信息归类，针对不同的主数据特点，统一业务概念，促进数据信息的整合，建设或完善相应的客户、产品、机构等主数据管理系统；
加大数据人才培养，智能工具应用：根据业务用数需求，配置并培养专业数据人员，加大数据可视化、商务智能工具应用，积极探索数据应用场景，以数据驱动内部管理和业务发展的持续提升；
数据分析挖掘：利用大数据实现信用风险管理，利用行内外大数据资源及人工智能技术，将打分卡、策略、决策引擎等量化分析工具应用于风险管理 领域，提升风险管理水平；
统一数据口径：在全行范围对基础数据标准和指标数据标准形成统一的认识，制定全行级的数据标准，明确指标及其相关基础数据项的名称、业务含义、加工口径、应用场景、责任部门及权威系统等信息。

E. 大数据时代如何做好数据治理

企业数据分析系统的数据来源是各个业务系统或手工数据，这些数据的格式、内容等都有可能不同。如果不进行数据治理，数据的价值难以发挥。只有对数据标准进行规范，管理元数据、数据监控等，才能得到高质量的数据。得到规范的数据后，才可在此基础上进行主题化的数据建模、数据挖掘、数据分析等。

2013年被众多的IT人定义为中国的大数据元年，这一年国内的大数据项目开始在交通、电信、金融部门被广泛推动。各大银行对Hadoop的规划、POC尤其风生水起，带动了一波大数据应用的热潮，这个热潮和当初数据仓库进入中国时的2000年左右很相似：应用还没有想好，先归集一下数据，提供一些查询和报表，以技术建设为主，业务推动为辅。这就导致了这股Hadoop热潮起来的时候，传统企业都是以数据归集为主的，而BAT这样的企业则天生以数据为生，早早进入了数据驱动技术和业务创新的阶段。

随着Hadoop技术的提升，数据如何进来，如何整合，开展什么样的应用都已经有了成熟的案例，可是，同传统数仓时代一样，垃圾进垃圾出，如何破？相比传统数仓时代，进入Hadoop集群的数据更加的多样、更加的复杂、量更足，这个数仓时代都没有处理好的事情，如何能够在大数据时代处理好，这是所有大数据应用者最最期盼的改变，也是大数据平台建设者最有挑战的难题：数据治理难的不是技术，而是流程，是协同，是管理。 睿治数据治理平台平台架构

元数据：采集汇总企业系统数据属性的信息，帮助各行各业用户获得更好的数据洞察力，通过元数据之间的关系和影响挖掘隐藏在资源中的价值。

数据标准：对分散在各系统中的数据提供一套统一的数据命名、数据定义、数据类型、赋值规则等的定义基准，并通过标准评估确保数据在复杂数据环境中维持企业数据模型的一致性、规范性，从源头确保数据的正确性及质量，并可以提升开发和数据管理的一贯性和效率性。

数据质量：有效识别各类数据质量问题，建立数据监管，形成数据质量管理体系，监控并揭示数据质量问题，提供问题明细查询和质量改进建议，全面提升数据的完整性、准确性、及时性，一致性以及合法性，降低数据管理成本，减少因数据不可靠导致的决策偏差和损失。

数据集成：可对数据进行清洗、转换、整合、模型管理等处理工作。既可以用于问题数据的修正，也可以用于为数据应用提供可靠的数据模型。

主数据：帮助企业创建并维护内部共享数据的单一视图，从而提高数据质量，统一商业实体定义，简化改进商业流程并提高业务的响应速度。

数据资产：汇集企业所有能够产生价值的数据资源，为用户提供资产视图，快速了解企业资产，发现不良资产，为管理员提供决策依据，提升数据资产的价值。

数据交换：用于实现不同机构不同系统之间进行数据或者文件的传输和共享，提高信息资源的利用率，保证了分布在异构系统之间的信息的互联互通，完成数据的收集、集中、处理、分发、加载、传输，构造统一的数据及文件的传输交换。

生命周期：管理数据生老病死，建立数据自动归档和销毁，全面监控展现数据的生命过程。

数据安全：提供数据加密、脱敏、模糊化处理、账号监控等各种数据安全策略，确保数据在使用过程中有恰当的认证、授权、访问和审计等措施。

建立完整的、科学的、安全的、高质量的数据管控技术体系，是首要的任务。作为数据管控的基石，为了更好支撑后续工作的开展，技术体系必须一步到位，是功能完备、高质量、高扩展性的，而不是仅实现部分功能，或者功能不完善的“半成品”。

叠加更多业务数据、细化数据业务属性与管理属性、优化与调整数据管控流程，尤其是适应未来的现代企业数据管控制度的建立完善，是逐步积累推广、不断磨合改进的长期过程。这些工作应及早启动，并成为后续大数据平台建设工作的重点。

谈大数据时代的数据治理 当前要做的是功能框架的完善，而完善的着力点则是“数据资产目录”：用资产化的视角来管理一个企业的数据，只有把数据作为资产来认识和管理，大数据项目才能达成预期，也能够治理好。大数据时代带来的价值，个人认为主要有两个，一个是技术架构，主要是架构理念的进步，另外一个更重要的则是对数据的重视。大数据时代是数据的时代，IT向DT转型，不单单是BAT，所有的IT公司，未来都在数据这两个字上。

对于一个企业来说，把数据作为资产，才是建设大数据的最终目的，而不是仅仅是因为Hadoop架构带来性价比和未来的扩展性。当一个企业把数据作为资产，他就像管理自己名下存折、信用卡一样，定期梳理，无时无刻不关心资产的变化情况，关注资产的质量。

而资产目录就是管理资产的形式和手段，他像菜单一样对企业的资产进行梳理、分门别类，提供给使用者；使用者通过菜单，点选自己需要的数据，认可菜单对应的后端处理价值，后厨通过适当的加工，推出相应的数据服务；这是一个标准的流程，而这些流程之上，附着一整套数据管理目标和流程。

大数据平台以数据资产目录为核心，将元数据、数据标准、主数据、数据质量、数据生命周期、数据轮廓等信息在逻辑层面关联起来，在管理层面上整合成统一的整体，构建起数据管理体系，全面的支持数据服务等具体应用。

大数据平台实现了数据存储、清洗和应用。在数据汇入和汇出的过程中，需要对数据的元数据进行统一记录和管理，以利于后续的数据应用和数据血缘分析。数据质量一直是数据集成系统的基础工作，对数据的各个环节设置数据质量检查点，对数据质量进行剖析、评估，以保证后续应用的可信度。

在数据收集的过程中，随着数据维度、指标的聚集，如何找到所需的业务指标及属性，并且评估相关属性的业务及技术细节，需要对收集的所有数据进行业务属性，并进行分类，建立完善的数据资产目录。

数据资产目录是整个大数据平台的数据管理基础，而数据资产目录由于数据的多样性，在使用的过程中，必然涉及数据权限的申请、审批管控流程，而管控流程的建立依赖于相应岗位的设立和对应职责的建立。

大数据平台的数据管理架构规划，通过数据物理集中和数据逻辑整合，彻底摆脱企业“数据竖井”的困境。大数据平台数据管理架构分为功能架构、流向规划和数据架构三个层面。

数据管理功能架构：借鉴DAMA数据管理和DMM数据成熟度理论，着眼于数据管理技术和数据管理流程融合，组织数据管理功能。

数据流向规划架构：规划整个大数据平台的数据流向，并在数据流入、数据整合、数据服务的具体环节实现精细化管理。

数据管理的数据架构：以数据资产目录为核心，数据项为最小管理单元，将技术元数据（实体、属性和关系）、业务元数据和管理元数据（数据标准、主数据、数据质量、数据安全）融合为彼此紧密联系、密不可分的整体，共同构成精细化管理的数据基础。

数据管理在整个大数据平台不仅仅是一个主要功能模块，它还是整个企业层面数据治理的重要组成部分，它是技术和管理流程的融合，也需要合理管控流程框架下组织机构之前的协调合作。如何利用统一的数据管理模块对企业所有进入到数据湖的数据进行有效管控，不单单取决于数据管理模块本身，也取决于元数据的合理采集、维护，组织结构及制度的强力支持保证。

谈大数据时代的数据治理 大数据平台数据管理参照了DAMA对于数据管理的九个管理目标，并进行裁剪，并对部分管理目标进行了合并，并参照了CMMI制定DMM数据成熟度目标，采用循序渐进，逐步完善的策略对管理目标进行分阶段完成，制定完整的管控流程和数据治理规范，以便持续的对数据进行管理，递进实现DMM定义的成熟度目标。

亿信睿治数据治理管理平台和DAMA的对应关系如下：

谈大数据时代的数据治理 大数据平台数据管理的核心内容是数据资产目录，围绕数据资产目录的数据流入、数据整合、数据服务都是数据管理的核心。数据管理主要管理数据的流动，以及管理流动带来的数据变化，并对数据底层的数据结构、数据定义、业务逻辑进行采集和管理，以利于当前和未来的数据使用。为了更好的对数据进行管理和使用，制度层面的建设、流程的设立必不可少，同时也兼顾到数据在流动过程中产生的安全风险和数据隐私风险。

因此数据管理介入到完整的数据流转，并在每个节点都有相应的管理目标对应，整个数据流框架如下图所示：

谈大数据时代的数据治理 企业在建制大数据平台的同时，对进入数据湖的数据进行梳理，并按照数据资产目录的形式对外发布。在发布数据资产之后，则对进出数据湖的数据进行严格的出入库管理，保证数据可信度，并定期进行数据质量剖析检查，确保数据资产完善、安全、可信，避免“不治理便破产”的谶言。