金融大数据的体系架构

『壹』 目前我国的金融机构的体系架构是什么

目前，中国金融业已经走出国有银行一家独大的垄断局面，进入多元化架构专。金融体系属现存四个层次：第一、金融监督管理层，包括中国人民银行、银行业监督管理委员会、保险业监督管理委员会、证券业监督管理委员会，分别简称人行、银监会、保监会、证监会，又称一行三会。第二、国家政策性银行，包括农业发展银行、国家开发银行、进出口银行。第三、不同所有制形式的商业银行，其中包括（1）国有独资商业银行，包括工行、农行、中行、建行，四家国有商业银行的资产及交易额占到国内金融业务的60%以上；（2）其他商业银行。包括10家全国性商业银行、112家地方性银行、以及机构数量最大的信用合作体制—农村信用社；（3）外资金融机构。从加入WTO起，目前已有180多家外资金融机构进入我国。第四、非银行金融机构，主要包括保险公司、证券公司，在银监会监管下的邮政储蓄、信托投资公司、租赁公司、财务公司等。

『贰』 【科普】企业中，大数据部门的常见组成

在IT公司里，大数据部门的成员，一般可分为4种：（以房子为例）

先用一张图，帮助大家理解一下～～
出道题目，我们公司的大数据部门，目前有这些岗位，你能一一推测出他们的所在位置吗？
【数据应用工程师】、【数据可视化工程师】、【数据可视化设计师】、【数据平台工程师】、【算法工程师】、【数据分析师】

建房子地基（埋在地下）的那群人
他们就是 平台组/架构组 的那群人，他们负责搭建一套大数据的平台架构体系。一般你肉眼看不到他们的产出，但是当某一堵墙壁歪了的时候，或者你进屋打水但水龙头却流不出来水的时候，你就会意识到他们工作的重要性。
平台组的常见发展路径 ：
平台初期，很多公司会用自己的服务器搭一个 私有集群 ，将数据维护起来，开始构建数据平台的第一步。这个，也是原始的大数据平台。（当然，现在有很多公司也是直接上云服务器）
当平台进入高速发展期，考虑到不断扩充的数据量和服务器的维护成本上升，很多公司会迁移平台到 云服务 上，比如阿里云，华为云。云服务的选择要解决的是选择平台所提供的服务，成本，数据通道的维护。【我们公司目前正处于这一阶段，选择了云服务。当前，经过考量也正在由阿里云迁移到华为云】
还有一个阶段，你发现云服务的费用太高，虽然省了你很多事，或者是考虑到敏感数据的安全问题（当然，私有集群也不是百分百安全），然后又开始往 私有集群 迁移。这时候，鉴于数据规模，你大概需要一个靠谱的团队，设计网络布局、设计运维规范、架设监控、建立机房，值班团队走起7*24小时随时准备出台。
至此，产生了平台组，真的大数据平台来了 。

建屋子（砌墙盖瓦）的那群人 ：
应用组 的那群人，他们负责建设各类系统/应用。他们搬砖砌墙，建好房子，还要铺设各类管道线路，把地基里面的数据抽出来，放在房子里，让用户们推开门就可以享用。
应用组，有哪些应用？ ：
这块不太好讲。不过，为了尽量让大家看懂，用 从大到小的思路 尝试下：
在整个社会层面，大数据已应用于各行各业，比如：金融行业/地产行业/零售行业/医疗行业/农业/物流行业/城市管理等等……有哪一个行业，可以脱离数据而生存？有哪一个行业可以不依赖数据而发展？
那么，在一个企业中，数据必然是无法避免的会应用到，不管是1个员工的皮包公司，还是10万员工的跨国集团。so，我们来讲讲具体有哪些应用呢？
一般而言，数据应用分为3类：分别是面向企业内部， 面向企业外部以及面向用户这三种。

这里，鉴于今天的主题，我们只讲 面向企业内部 的大数据应用。
进入正题了：
企业内部产品中，可以从2个角度来看待具体有哪些应用：

策略类 的方向较多，常见的有：

这些有时候会有部分或全部不划在大数据部门下面，但都需要比较规范的数据基础，以及着重与利用数据分析调整产品策略。

做企业内部的大数据应用产品，常常有些心酸的地方：

屋子里面的人 ：
产品组 的那群人，主要是一群产品经理（我们公司，目前就半个，由一个分析师兼职着，所以，我们公司没有产品组哦），负责数据类的应用产品设计。他们和上面建房子的工程师们，是紧密的团队关系。鉴于上面对数据应用产品已做了很多阐述，关于他们工作产出的应用具体有哪些，这里就不再赘述。
讲一讲， 数据产品经理 的从业人员得有几个素质：

屋子外面的人 ：
分析组 的那群人，一般会有3类：数据分析师、算法工程师 （类似数据挖掘） 、数据科学家 （我们公司没有） 。他们工作的日常：为你提取一份EXCEL数据、制作一张报表数据、用算法模型分析一个问题、训练出一套算法模型等等工作，但不局限于此。
他们常常需要与各个部门打交道，接待很多业务的数据需求，与业务关系紧密。在一些公司，分析组不一定都设置在大数据部门下，他们可能分散在不同的业务部门，为各自部门服务。但是，他们终究也是需要从大数据平台来获取所需的业务数据，做分析处理，得到相关结论～
据我所知，我们公司的业务部门，（好像）也是有自己的分析人员。
简单概括一下这些职位的特点：
【数据分析师】
业务线，负责通过数据分析手段发现和分析业务问题，为决策作支持。
【算法工程师】/【数据挖掘工程师】
偏技术线，负责通过建立模型、算法、预测等提供一些通用的解决方案，当然也有针对某业务的。
【数据科学家】
数据科学家是使用专业知识构建机器学习模型，再以此做出预测并对关键业务问题进行解答的专家。数据科学家仍然需要对数据进行清洗、分析以及可视化处理，这一点和数据分析师是一致的。不过数据科学家在专业技能方面有者更深的研究，涉猎范围也更广，同时他们也能够对机器学习模型进行训练与优化。

至此，整篇文章，已经讲差不多了。
最后总结下，本质上，围绕房子的这4拨人，做的是同一件事情： 提供数据服务 。

完结～

『叁』 大数据金融是什么

大数据金融是指集合海量非结构化数据，通过对其进行实时分析，可以为互联网金融机构提供客户全方位信息，通过分析和挖掘客户的交易和消费信息掌握客户的消费习惯，并准确预测客户行为，使金融机构和金融服务平台在营销和风控方面有的放矢。

大数据金融的内容：基于大数据的金融服务平台主要指拥有海量数据的电子商务企业开展的金融服务。大数据的关键是从大量数据中快速获取有用信息的能力，或者是从大数据资产中快速变现的能力，因此，大数据的信息处理往往以云计算为基础。

(3)金融大数据的体系架构扩展阅读：

大数据金融的弊端：

1、大数据对个人信息的大量获取导致了隐私和安全问题。

随着个人所在或行经位置、购买偏好、健康和财务情况的海量数据被收集，再加上金融交易习惯、持有资产分布、以及信用状况以更细致的方式被储存和分析，机构投资者和金融消费者能获得更低的价格、更符合需要的金融服务，从而提高市场配置金融资源的能力。

但同时，金融市场乃至整个社会管理的信息基础设施将变得越来越一体化和外向型，对隐私、数据安全和知识产权构成更大风险。就个人隐私而言，大数据的隐私问题远远超出了常规的身份确认风险的范畴。

2、大数据技术不能代替人类价值判断和逻辑思考。

大数据是人类设计的产物，大数据的工具(如Hadoop软件)并不能使人们摆脱曲解、隔阂和成见，数据之间相关性也不等同于因果关系，大数据还存在选择性覆盖问题。

例如，社交媒体是大数据分析的重要信息源，但其中年轻人和城市人的比例偏多，还存在大量由程序控制的“机器人”账号或“半机器人”账号。波

士顿的 StreetBump应用程序为统计城市路面坑洼情况，从驾驶员的智能手机上收集数据，可能少计年老和贫困市民较多区域的情况;“谷歌流感趋势”曾高估了 2012年流感发病率。这说明依赖有缺陷的大数据可能给政府决策造成负面影响，还可能加剧社会不公。

3、基于大数据开发的金融产品和交易工具对金融监管提出挑战。

大数据的使用正在改变金融市场，也需要改变监管市场的方式，以保证市场参与者负责地使用大数据。

例如，2010年5月的“闪电暴跌”(flashcrash)令道琼斯工业平均指数 突然大跌，美国监管部门认为是高频交易造成了快速抛售引发的更多抛售。大数据中的一个数据点出错就能导致“无厘头暴跌”。

监管机构限制大数据技术的使用，或是对其使用进行直接干预，其潜在风险是巨大的，应鼓励业界对更复杂的技术乃至更大数据的利用。

『肆』 如何做好银行金融大数据治理平台建设

大数据、云计算、互联网等技术，将人类带入了一个以PB为单位的大规模生产、分享和应用数据的新时代。当治理的对象发生变化时，治理体系也应进行改进以适应大数据的发展变化。
（1）完善数据管控相关标准，提升相关系统控制能力
大数据时代，银行数据除了从传统的客户、协议、账户等结构化数据外，已经逐步扩展到非结构化数据的存储管理及应用，因此需从数据标准、数据模型、元数据、数据质量、数据生命周期等方面依据非结构化数据的特点，补充相关治理管控标准，并通过相应的管控系统实现控制，确保非结构化数据得到有效的管控和应用。
（2）利用大数据技术提升数据集成及共享能力
海量数据给银行数据治理带来挑战，但也是一种机遇，利用大数据技术，可使数据治理的方法和手段更加丰富，数据价值可以获得更大的发挥。
一方面，采用分布式计算等大数据技术，构建开放、高效、异构、弹性的大数据平台，实现“全渠道、全客户、全产品”信息的综合分析与快速共享，提升客户拓展、风险管控和创新营销能力。
另一方面，利用大数据技术，重点完善补充银行业务以外的其它基础信息（如行外政府部门、第三方合作机构等各类有价值的数据），并按照统一的客户标准进行客户信息整合，形成更加完善的客户视图；通过大数据技术实现“数据地图”等可视化服务，提升数据资产易用性；通过元数据的统一管理和分析，提供信息检索、指标灵活定制等数据服务，提升数据资产的一致性和可用性。

亿信华辰在数据治理领域也持续深耕，从数据质量管理平台、元数据管理平台，到发布智能数据治理平台-睿治，实现了数据治理全场景覆盖，包含九大核心模块：元数据、数据标准、数据质量、主数据、数据资产、数据安全、数据交换、数据处理、数据生命周期等，所有模块可自由组合，并支持本地或云上使用，全面满足客户各类治理需求。

『伍』 你要的大数据标准都在这里

NIST 1500-4 大数据通用框架草案 第四卷 安全与隐私.pdf

NIST 大数据定义（草案）.pdf

大数据安全标准化白皮书2017 .pdf

大数据安全标准化白皮书（2018版）.pdf

大数据标准化白皮书（2018）.pdf

大数据标准化白皮书（2020版）.pdf

1 基础

GB T 35295-2017 信息技术 大数据 术语.pdf

GB T 35589-2017 信息技术 大数据 技术参考模型》.pdf

GB T 38672-2020 信息技术 大数据 接口基本要求.txt

JRT 0236—2021《金融大数据 术语》.pdf.pdf

TGZBD 2-2020 大数据标准体系总体架构.pdf

2 数据

GBT 18142-2017 信息技术 数据元素值表示 格式记法 ISOIE C FDIS 149572009.txt

GBT 18391.1-2009 信息技术 元数据注册系统 (MDR) 第1部分： 框架 ISOIEC11179-1 2004， IDT.txt

GBT 18391.2-2009 信息技术 元数据注册系统 (MDR) 第2部分： 分类 ISOIEC11179-2 2005， IDT.txt

GBT 18391.3-2009 信息技术 元数据注册系统 (MDR) 第3部分： 注册系统 元模型与基本属性 ISOIEC11179-3 2003， IDT.txt

GBT 18391.4-2009 信息技术 元数据注册系统 (MDR) 第4部分： 数据定义 的形成 ISOIEC11179-4 2004， IDT.txt

GBT 18391.5-2009 信息技术 元数据注册系统 (MDR) 第5部分： 命名和标 识原则 ISOIEC11179-5 2005， IDT.txt

GBT 18391.6-2009 信息技术 元数据注册系统 (MDR) 第6部分： 注册 ISOIEC11179-6 2005， IDT.txt

GBT 23824.1-2009 信息技术 实现元数据注册 系统内容一致性的规程 第 1部分： 数据元 ISOIEC TR20943-1 2003， IDT.txt

GBT 23824.3-2009 信息技术 实现元数据注册 系统内容一致性的规程 第 3部分： 值域 ISOIEC TR20943-3 2004， IDT.txt

GBT 30881-2014 信息技术 元数据注册系统 (MDR)模块 ISOIEC 197732011.txt

GBT 32392.1-2015 信息技术 互操作性元模型 框架(MFI) 第1部分： 参考 模型.txt

GBT 32392.2-2015 信息技术 互操作性元模型 框架(MFI) 第2部分： 核心 模型.txt

GBT 32392.3-2015 信息技术 互操作性元模型 框架(MFI) 第3部分： 本体 注册元模型.txt

GBT 32392.4-2015 信息技术 互操作性元模型 框架(MFI) 第4部分： 模型 映射元模型.txt

GBT 32392.5-2018 信息技术 互操作性元模型 框架(MFI) 第5部分： 过程 模型注册元模型.txt

GBT 32392.7-2018 信息技术 互操作性元模型 框架 第7部分： 服务模型注.txt

GBT 32392.8-2018 信息技术 互操作性元模型 框架 第8部分： 角色与目标 模型注册元模型.txt

GBT 32392.9-2018 信息技术 互操作性元模型 框架 第9部分： 按需模型选 择.txt

GBZ 21025-2007 XML使用指南.txt

3 技术

YDT 3772-2020 大数据 时序数据库技术要求与测试方法.txt

YDT 3773-2020 大数据 分布式批处理平台技术要求与测试方法.txt

YDT 3774-2020 大数据 分布式分析型数据库技术要求与测试方法.txt

YDT 3775-2020 大数据 分布式事务数据库技术要求与测试方法.txt

大数据开放与互操作技术

信息技术 大数据 互操作 技术指南 拟研制.txt

大数据生存周期处理技术

GBT 32908-2016 非结构化数据访问接口规范.txt

GBT 36345-2018 信息技术 通用数据导入接 口规范.txt

信息技术 大数据 面向分 析的数据检索与存储技术 要求 在研.txt

大数据集描述

GBT 32909-2016 非结构化数据表示规范.txt

GBT 34945-2017 信息技术 数据溯源描述模型.txt

GBT 34952-2017 多媒体数据语义描述要求.txt

GBT 35294-2017 信息技术 科学数据引用.txt

GBT 38667-2020 信息技术 大数据 数据分 类指南.txt

GB T 38667-2020 信息技术 大数据 数据分类指南.pdf

4 平台、工具

GBT 38673-2020 信息技术 大数据 大数据 系统基本要求.txt

GBT 38675-2020 信息技术 大数据 计算系 统通用要求.txt

GB T 37721-2019 信息技术 大数据分析系统功能要求》.pdf

GB T 37722-2019 信息技术 大数据存储与处理系统功能要求.pdf

GB T 38633-2020 信息技术 大数据 系统运维和管理功能要求.pdf

GB T 38643-2020 信息技术 大数据 分析系统功能测试要求.pdf

GB T 38676-2020 信息技术大数据存储与处理系统功能测试要求.pdf

JRT 0206—2021 证券期货业大数据平台性能测试指引.pdf

YDT 3762-2020 大数据 数据挖掘平台技术要求与测试方法.txt

5 安全和隐私

GAT 1718-2020《信息安全技术 大数据平台安全管理产品安全技术要求》.txt

GBT 大数据系统软件安全防护指南》标准草案.pdf

GB T 35274-2017 信息安全技术 大数据服务安全能力要求 立项.pdf

GB T 37973-2019 信息安全技术 大数据安全管理指南.pdf

YDT 3736-2020 电信运营商大数据安全风险及需求.txt

YDT 3741-2020 互联网新技术新业务安全评估要求 大数据技术应用与服务.txt

YDT 3800-2020 电信网和互联网大数据平台安全防护要求.txt

信息安全技术电信领域大数据安全防护实现指南.doc

d

『陆』 金融大数据是什么

金融大数据是指收集海量非结构化数据，分析挖掘客户的交易和消费信息，掌握客户的消费习惯，准确预测客户的行为，提高金融机构的服务、营销和风控能力。
1、大数据金融主要体现在三个方面：一是数据客观准确匹配；二是交易成本低，客户群大；最后，数据及时有效，有助于控制风险。
2、大数据金融通过大数据技术收集客户交易信息、在线社区交流行为、资金流动趋势等数据。大数据金融了解客户的消费习惯，针对不同的客户推出不同的营销和广告，或分析客户的信用状况。
拓展资料：
1）因为大数据金融数据是根据客户自己的行为收集的大数据金融是客观真实的。因此，大数据金融为客户制定的回售方案和偏好推荐也能精准大数据金融匹配度高。大数据金融基于云计算技术 云计算是一种超大规模分布式计算技术，通过预设程序，大数据金融云计算可以搜索、计算和分析各类客户数据，无需人工参与。
2）大数据金融云计算技术降低了收集和分析数据的成本，不仅整合了碎片化的需求和供应，而且大大降低了大数据金融交易的成本，实现了跨区域的信息流动和交换，客户群也随之增长。在大数据金融模型中，互联网公司设置了各种风险指标，如违约率、延迟交货率、售后投诉率等，大数据金融收集的客户数据是实时的，因为其信用评价也是实时的。时间，有利于数据需求方及时分析对方的信用状况，控制和防范交易风险。
3）大数据，或称海量数据，是指所涉及的海量数据，无法通过主流软件工具进行检索、管理、处理和整理成信息，帮助企业在合理的时间内做出更积极的业务决策。 “大数据”研究院Gartner给出了这样的定义。 “大数据”需要一种新的处理模式，具有更强的决策力、洞察力和发现力和流程优化能力，以适应海量、高增长率和多样化的信息资产。

『柒』 大数据中间层架构

大数据中间层：运行在大数据平台基础上的一个层级

主要是client访问层，服务提供层，基础运算层，

client层主要有cli工具，dt工具，外部系统，上层应用。

服务提供层主要有：用户管理、权限控制、元数据、业务处理、负载均衡、接入服务、任务调度、数据传送、访问计费。

基础运算层：hdfs、hive、spark、hbase、yarn

数据共享：用户创建共享资源包，通过共享资源包分享数据给多个用户。

中间层在大数据体系架构中处于应用和底层组件的桥梁位置。缺少了中间层，会缺少对底层集群服务api的抽象和封装，也无法对数据进行封闭和保护。

对内访问进行管控，对外提供统一访问机制，从而作为一个较完善的系统对外部提供服务。

『捌』 如何构建互联网金融下的大数据征信体系

我国复银行存款高达120万亿,相当于GDP的两制倍,但实体经济的企业却面临融资难、融资成本居高不下的困境,这可以用银行业对信用信息的垄断地位来解释。

大数据征信突破了从财务报表、抵押资产和担保信息评价企业信用的传统思维,通过企业经营行为得到信用信息,能解决中小企业信用缺失的问题。

通过对已经获得征信牌照的八家征信机构其中四家的信用评分模型的分析可见,目前各征信机构数据来源、统计口径、评分模型、评分标准等各方面都存在巨大差异,缺乏统一的接口、规范和公约,所生产的信用产品尚未在互联网金融平台中得到广泛应用。

要建立全面的征信体系,必须鼓励数据信用信息的标准化和跨行业、跨平台的分享,并且完善消费者个人隐私和信用法规建设。

『玖』 金融大数据分析的数据分流应用

金融大数据分析的数据分流应用
随着金融大数据技术应用，以及相关业务大数据应用不断创新，金融机构的数据分析和业务创新，以及数据安全如何深度融合，是当前金融机构信息化面临的重要挑战。
银监会印发《银行业金融机构信息系统风险管理指引 》(2006年)，其中第二十七条：银行业金融机构应加强数据采集、存贮、传输、使用、备份、恢复、抽检、清理、销毁等环节的有效管理，不得脱离系统采集加工、传输、存取数据;优化系统和数据库安全设置，严格按授权使用系统和数据库，采用适当的数据加密技术以保护敏感数据的传输和存取，保证数据的完整性、保密性。
银监会印发《银行业金融机构全面风险管理指引》(银监发〔2016〕44号)，其中第四十三条：银行业金融机构应当建立与业务规模、风险状况等相匹配的信息科技基础设施;第四十四条银行业金融机构应当建立健全数据质量控制机制，积累真实、准确、连续、完整的内部和外部数据，用于风险识别、计量、评估、监测、报告，以及资本和流动性充足情况的评估。
从银监会的两次下发指引文件要求中，我们可以看到，针对金融行业的数据分析，相对传统行业，在数据的采集、存储和处理过程中，在数据安全性、完整性、业务管理全面性上，有着更为严格的要求。
那在金融大数据技术应用领域，如何更高效、安全的实现金融业务数据的精细化采集管理，是其中一个细分的技术领域，也是我们今天探讨的话题。
金融业务大数据的采集管理技术需求
金融行业的信息化在众多异构系统和DT环境中，越来越重视可视化和业务关联性，在互联网化金融交易和大数据技术应用的背景下，相关数据采集、分析的技术需求演进出现了新的变化，那就是分别是分流调度管理技术和业务可视化技术。
可视化分析业务，需要采集、分析不同类别的数据，如基础数据，日志数据，安全数据或特定业务数据，因此需要分门别类进行分类调度。专业的分析应用需要专业的设备和系统配合。
比如风险监管日趋严谨，每家金融机构对贷前风控、贷后风险管理的重视空前提高。而通过信息化手段实现风控能力上，数据准确完整，算法和模型是风控部署的核心。
现在的金融机构IT架构大多分为在线系统、近线系统与离线系统。在线系统主要面向最终用户的交易请求;近线系统则针对一段时间内的历史数据进行存放和进行溯源查询;而离线系统则对历史时间的数据进行归档，在特殊情况下会被恢复进行使用。
随着大数据技术的蓬勃发展，金融机构对全量历史数据的认知有新的变化。如何从历史数据中挖掘其潜在价值，如何将离线数据在线化以满足监管部门的需求，是很多银行开始利用大数据技术解决的问题。
例如征信，银行已经能够获取社会各类有意义的信息进行记录，例如网上的各地各楼盘的房价、人行征信、法院执行纪录、工商局信息、企业上下游现金流等信息，然后通过这种信息对个人企业进行分析对比，对超常理的数据进行风险警告，便于审计人员快速判断识别潜在风险。
又比如客户的POS刷卡记录，企业上下游流水账单，交税信息等等，整个可对企业进行现金流测算。又或者对客户信用卡还款时间，转账时间等等来判断客户手中现金或者回款时间，把推荐的理财营销时间推送给其客户经理等，实现真正的精准营销。
总体来说，金融现有的业务需要把数据的有效分析和灵活应用到金融体系中去，而非空谈大数据应用。
那在大数据业务分析、内容安全审计和业务应用可视化的应用中，面临最核心问题，那就是如何把业务流量正确、按需的方式传递给所需的数据分析系统。笔者认为需要专业的业务流数据管理系统才能够精准的识别、分类和分发传递。
比如很多运维日志数据是通过UDP 514传递的，那日志服务器不需要接受其他内容，针对性采集即可。如交易或征信业务只需要采集数据库的Mysql TCP 3306 和Oracle TCP 1521端口往返数据，那分析系统也可降低性能负载，摘取所需数据是当前数据分析的必要措施。
另外不得不说的是流量不少是无用的数据载荷。而常见的分析系统平台大多为千兆速率，那么网络单接口流量在万兆或更高流量时候，是增强系统分析系统的硬件配置还是通过数据裁剪方式来部署，那选择显而易见是裁剪优化而不是升级分析平台的硬件平台，因为那将是更高昂的硬件摊销成本。
比如交易数据或征信数据等，可以进行剥离掉帧头帧尾和部分封装协议。数据分析服务器(比如性能分析类)吞吐量较低，无法承载大流量分析能力，需要将分发流量进行载荷截短，降低数据流量带宽，提升服务器分析效率。
金融大数据采集分析应用建议使用专业分流技术
上述的金融业务可视化分析以及IT系统环境运维过程中问题，是我们常见的数据采集、归类、提取再分发分析的技术需求和环境。
因此在金融大数据识别、分类采集、分发存储等应用方面建议使用专业数据分流技术，因为其系统的精细化数据流管理功能为相关业务应用提供专业能力的保障，而这个数据分流应用并已在诸多的行业的运维和业务应用可视化领域成熟应用。