大数据促进我国经济社会创新发展
本文作者:工信部赛迪研究院互联网研究所 陆峰博士
近日,国务院印发《“十三五”国家信息化规划》,明确提出要建立统一开放的大数据体系,加强数据资源规划建设,构建统一高效、互联互通、安全可靠的国家数据资源体系,推动数据应用,强化数据资源管理,注重数据安全保护。
数据与煤炭、石油等能源资源一样,是国家基础性和战略性资源。近两年来,我国大数据产业生态体系不断完善,管理服务应用创新层出不穷,新服务、新模式、新业态不断涌现,为推进产业转型升级、创新社会治理模式、优化民生保障服务提供了重要保障,成为中国经济社会创新发展的重要驱动力。加快推进大数据在经济社会各领域创新应用,促进产业创新、管理创新、服务创新和治理创新,已经成为落实创新、协调、绿色、开放、共享五大发展理念重要抓手,成为推动中国经济社会创新发展重要途径。
一、大数据促进了产业发展模式创新,推动了产业转型升级和提质增效
一是大数据促进传统产业组织和运行模式创新,让传统产业研发设计、生产制造、物流运输、售后服务更加精准、高效和智能。基于客户需求反馈大数据的研发设计模式,有效解决了研发设计闭门造车问题,让企业研发设计更加具有针对性和导向性。物流大数据有效解决了物流运输信息不对称问题,让物流资源调度更加优化和智能,物流仓储、车辆、人员等物流资源利用更加匹配和高效。生产制造大数据解决了生产数据车间流动问题,让企业生产流线更加柔性化,有效支撑了个性化定制、体验式制造、网络制造等新型制造业态。远程运维、在线监测等大数据有效解决了大型机械装备售后管理和维修问题,加强了产品的全生命周期管理,实现了对产品故障提前智能预警,促进了维修资源的优化配置,显著缩短了维修周期。
二是大数据促进了新型信息服务业态的孵化,各领域大数据分析挖掘行业信息服务快速崛起。营销、征信、互联网金融等领域大数据信息服务的崛起,让产业经济发展更加高效、健康。营销大数据信息服务的发展,指导了企业商业规划,优化商业资源配置,提高商业营销效率,实现了精准营销。征信大数据信息服务的发展,有效解决了交易双方信用信息不对称问题,提高了交易可靠性保障,让商业活动发展更加守信和健康。互联网金融大数据信息服务的发展,缩减了互联网金融运营成本,降低了普惠金融的发展门槛,有效解决了中小企业短期资金缺口问题,对传统金融服务起到了有效补充。
三是大数据倒逼着信息通信技术加速创新,为我国信息通信产业实现后发赶超、由大变强提供了难得历史机遇。大数据技术倒逼着传统单机数据存储和计算分析模式向网络分布式存储和协同计算模式方向发展,对主机存储、网络传输、计算控制提出了新的要求,倒逼了存储、传输、计算等技术升级换代,为我国企业利用互联网产业发展契机,推进存储、传输、计算等技术自主可控提供了历史机遇。
二、大数据促进了社会治理模式创新,加速了国家治理能力和治理体系现代化
一是大数据提升了政府社会管理能力,基于大数据的社会管理模式让社会管理更加主动、精准、高效。城市管网、园林绿化、市容市貌等市政管理大数据的采集、挖掘和利用,加强了对城市基础运行部件的实时监控和智能管理,优化了市政管理资源的配置,促进了城市绿色、清洁、高效、安全运行。公路、铁路、地铁、水运、航空等交通大数据的采集、挖掘和利用,有效指导了道路交通规划,促进了交通运输资源配置优化,实现了对交通的实时疏导能力,提高了对交通事故的预判能力,更好地满足公众安全、高效出行需要。水灾、火灾、台风等应急救灾大数据的采集、挖掘和利用,提高了对灾难发生的预判能力,优化了救灾资源配置和调度,强化了灾难发展动向科学评估,促进了灾难损失的降低。城市规划大数据的采集、挖掘和利用,让城市居住和产业规划布局更加科学合理,实现了人口早晚合理潮汐流动,降低了城市交通拥堵,促进了城市宜商宜居和产城融合。
二是大数据提升了政府宏观调控能力,让宏观调控更加精准和科学。电子支付、移动支付、互联网金融等金融大数据的采集、挖掘和利用,实现了国家对金融运行精准掌控,提高了国家对金融运行的综合分析能力和金融调控的决策能力。电子商务大数据的采集、挖掘和利用,实现了国家对社会商贸活动运行状态的有效把控,促进了供需调控的精准化,为了推进供给侧改革、促进产业结构调整、优化产业布局提供了科学依据。煤炭、电力、石油等能源大数据的采集、挖掘和利用,实现了国家对全社会经济运行活跃性的有效评估,为推进节能减排、加强环境治理、优化产业政策提供了科学依据。
三是大数据提升了政府市场监管能力,强化线上线下一体化监管,实现事中监管和事前预防有机结合。煤矿、非煤矿山、烟花爆竹、石化冶炼、危化品等企业安全生产大数据的采集、挖掘和利用,提高了重点危险源企业安全生产在线监管水平,实现了对重点危险源风险的科学预判,有效防范了潜在事故和重特大事故发生,降低了安全生产事故发生概率。食品、药品等大数据的采集、挖掘和利用,强化了产品全生命周期监管,提高了产品的溯源能力,保障了涉及民生产品安全。银行、证券、外管等金融大数据的采集、挖掘、利用,强化了对洗钱、诈骗、非法集资、内幕操作等非法金融活动监管,有效防范了金融系统性风险的发生,保障了金融运行的稳定。金融、纳税、环保、行政处罚、刑事处罚等领域信用大数据的采集、挖掘和利用,促进了信用信息“全国一张网”建设,市场主体诚信档案、行业黑名单制度和市场退出机制逐步健全,强化了联合激励与惩戒机制,实现了让“守信者一路绿灯,失信者处处受限”。同时,大数据应用完善了政府市场监管机制,实现了让权力运行处处留痕,把执法权力关进了“数据铁笼”。
四是大数据提升了政府网络空间治理能力,网络社会治理更加高效、科学。网络舆情大数据的采集、挖掘和利用,提高了对网络社会关注焦点的即时发现能力,加强了对物理社会潜在燃点的研判,倒逼社会重要问题解决,为解决社会问题提供了有效的决策数据支撑和赢得宝贵时间窗口期。网络安全大数据的采集、挖掘和利用,强化了对网络安全态势的全面感知,提高了网络黑客攻击发现能力,完善了网络安全保障体系,提升了对网络空间的管控能力。
三、大数据促进了民生服务模式创新,提升了民生保障便民、利民和惠民水平
一是大数据促进了民生服务资源优化配置,以人为本发展理念得到更加充分落实。大众出行大数据的采集、挖掘和利用,促进了公共交通运输资源配置,提升对道路交通的实时诱导,实现让大众出行道路更加顺畅和换乘更加衔接。电、水、热、气、通信等服务大数据的采集、挖掘和利用,促进了服务资源的优化调度配置,让服务更加均衡协调。流动人口、老年人口、学前儿童、居住人口等大数据的采集、挖掘和利用,完善了流动人口计划生育、子女入学、医疗保障等服务,促进了医养、学前教育、生活服务等资源优化配置。
二是大数据提高了大众医疗卫生保障水平,构建起了人类生命新守护环。电子病历、居民健康档案、可穿戴智能健康设备数据等医疗卫生大数据的采集、挖掘和利用,提高医疗机构临床决策智能化水平和远程病人监控精准化水平,提升了卫生部门公共卫生和公众健康监控的效率,缩短科研机构医疗药品研发周期,为全社会防控大规模疫情发生、优化医疗资源配置、提高人的健康保障提供了有效的决策依据。
大数据正在深刻影响和改变世界发展,对产业发展、社会治理、民生服务带来影响才刚刚开始,应用前景非常宽广。牢牢把握科技革命历史机遇,率先抢占大数据发展先机,大力发展数据产业,推进大数据在经济社会各领域深入应用,完善大数据采集挖掘、存储传输、流通交易、安全保障等相关制度,充分释放数据资源红利,必将为中国经济社会创新发展注入新的发展动力,推动中国经济社会发展迈上新的发展台阶、开启发展新方位。
(联系邮箱:[email protected])
⑵ 大数据如何帮助政府实现“精准治理”
大数据如何帮助政府实现“精准治理”
大数据缘何受到如此重视?业内专家曾以“大、智、移、云”形容当前国内快速进入的技术变革期。大数据、智能化、移动互联、云计算成为驱动中国经济社会转型进步的重要力量。而大数据这一几乎横跨所有社会经济领域的技术变革,无疑会给中国带来更多的改变。
大数据如何支撑政府服务能力提升?走在互联网技术创新前沿的BAT(网络、阿里巴巴、腾讯)等大型互联网企业正立足既有资源再创新,推动政务服务便利化。如腾讯与广东省政府达成基于大数据的政务服务体系建设目标。腾讯支持广东省网上办事大厅和政务云平台建设,在广东各地市全面部署微信“城市服务”网络,为交通、公安、民政、住房城乡建设等政府部门提供业务整合、在线办理云平台、大数据支撑等服务。
这仅仅是大数据支撑政府治理能力提升的第一步,更多的对政策走向、决策支撑、精准治理和多方协作的大数据创新仍需持续发力。
大数据撬动社会治理、市场监管创新
“当数据的价值被发现之后,可以提升国家和政府治理能力现代化,深刻影响每个人的生活形态。”龙信数据(北京)有限公司董事长李钰说。
商事制度改革正在为经济社会带来活力。然而,政府管理需要关注的不仅是注册企业数量的增长,民营企业生存状态、活跃度、就业拉动、税收贡献度等情况也应受到关注。
为此,龙信数据与相关部门联合,将企业注册等关键数据分析处理。相关方与龙信组成“企业发展与宏观经济发展关系分析”课题组,汇总政府数据,加之数据挖掘、电话抽样、焦点组访谈等多种方法结合,取得一般量化统计难以完成的数据结论——国内商事制度改革不仅让市场主体数量增加,更让产业结构持续优化,企业社会总成本持续下降等等,其中仅人员成本就下降近40%。
“大数据应用也将社会治理、市场监管转变为实时监测。”李钰举例,工商部门治理“非法集资”一直是高成本任务。一方面,违法企业以各种名目遮掩违法行为;另一方面,注册企业数目快速攀升,数量巨大。大数据破解了这一难题。
“我们汇总分析大量数据,通过指标计算比对、模型筛选,可以在数以百万的企业中让‘高度疑似’的企业呈现。我们最后筛选出1000多户企业,供政府部门进一步检查。”李钰说,这个复杂过程在以往难以想象。
大数据不仅为政府部门的治理节约时间、人力成本,也更新了治理思路和模式。“以前很多违法行为的治理可以说是事后去追究,现在一些监测治理可以让很多行为提前发现、及早治理。”李钰说。
开放、标准、产业、安全:大数据发展关键词
目前,推动政府运用大数据创新支撑治理能力提升,包括数据资源开放、人才培养、数据立法、接口标准、安全机制等问题仍然有待突破。
实际上,《纲要》已明确提出弥补这些“短板”,即“三项主要任务”:首先要加快政府数据开放共享,推动资源整合,提升治理能力;同时要推动产业创新发展,培育新兴业态,助力经济转型;还要强化安全保障,提高管理水平,促进健康发展。开放、标准、产业、安全成为关键词。
多位业内人士接受采访时表示,当前首要工作是推动政府部门数据加速开放共享。
事实上,此前包括北京等地的政府部门数据陆续开放共享,为数据创新迎来利好。北京市科学技术委员会牵头打造“首都科技大数据平台”,整合长期分散于各个政府部门、科研院所、行业部门的科技数据资源,并逐步向社会数据需求方开放,提升科技资源的公共服务能力。
“北京每年有大量的医疗科研、临床数据、交通运转数据、金融行业数据产生,科研院所也有不少技术成果、技术交易数据、新技术新产品等数据。”北京市科学技术委员会主任闫傲霜说,然而,这些政府科技数据资源大多存于不同平台,分割严重,大多处于沉睡状态,缺乏整合开发。
“有些政府部门把数据资源守得紧紧的,舍不得共享。共享机制不顺畅将制约产业发展、数据应用、服务国家战略等。”李钰说,国家需要进一步让政府部门数据开放,让产业与政府数据充分融合。
产业离不了人才,人才是大数据发展的重要支撑。北京大学校长林建华表示,数据科学人才培养成为亟须加强的方面。“大数据能否做成,关键在能不能聚焦人才培养。”
然而,高校和产业界人士普遍认为,当前大数据人才的培养相对滞后。北京航空航天大学软件学院院长孙伟认为,传统IT教育很难将前沿技术和课堂传授知识结合起来,培养出的人才难以与产业接轨。人才培养应更加面向市场需求、技术前沿。
与此同时,大数据产业发展的理念、标准、安全等也应当得到重视。李钰等产业界人士说,当前国内要实现“数数相连”,相关部门仍需要推动标准制定,将数据产业与数据资源有效打通。
法制的跟进也需要得到重视。当前,国内关于政府信息数据的加工、应用、推广等仍处于相对松散、自发状态。业内人士建议,国家需要有明确的法律条文规范大数据的发展,特别需要以法律法规划定大数据开发利用的边界。
以上是小编为大家分享的关于大数据如何帮助政府实现“精准治理”的相关内容,更多信息可以关注环球青藤分享更多干货
⑶ 大数据时代社会治理方式创新
大数据时代社会治理方式创新_数据分析师考试
互联网、物联网、大数据、云计算等现代技术正在深度改变人们的生活、工作和思维方式。大数据时代给社会治理提出了新机遇和新挑战,因此,应适应大数据时代社会需要,变革社会治理方式。推进大数据时代社会治理方式创新,无论从理论上还是实践上看,都是一个全新的课题。作为我国改革开放的前沿地带,深圳市福田区在运用大数据手段推进社会治理方式创新方面再一次走到了全国的前面,率先进行了探索,对于研究大数据时代社会治理方式创新,具有重要的理论和实践意义。
深圳市福田区社会治理方式创新的实践探索
大数据时代,只有让政府以及各社会主体在合理共享各种最新数据的基础上,发挥各自的优势,深度挖掘数据的价值,在提供公共服务的方式、内容和机制上不断创新,以适应快速变化的社会需求和环境,才能不断提高我国的国家治理能力和实现社会治理方式的创新。深圳市福田区充分认识基础数据的重要性,在如何保证动态、精准、充分占有基础数据方面进行了卓有成效的创新和探索。
突出大数据理念
针对大数据时代社会治理的特点,深圳市福田区在推进社会治理创新方面,树立大数据理念,推动智慧福田建设。
大数据应用的核心是数据处理。大数据应用要充分挖掘数据价值,进行深度应用。为此福田区提出实现“让数据多跑腿,让群众少跑路”的目标,以“采、用、享、碰、推、嵌”六个字来概括数据应用理念。
“采、用、享”是传统的数据应用,是信息化建设的第一次革命;“碰、推、嵌”是大数据时代的智能应用,是信息化建设的第二次革命,以“碰、推、嵌”的可视化倒逼“采、用、享”的进一步质量提升,指导前期系统的改造。其中“碰”即数据碰撞。如将街道计生执法、人民调解、安监执法、派出所接报的发案的出租屋,与未自主申报出租屋比对碰撞,推送给街道综管执法人员,通过发现问题推动执法,推进自主申报工作。“推”即智能推送。如福田的智慧政务开发了智慧福田门户APP和微信公众平台,辖区居民只要安装或关注,平台就会根据本人实际需求,有针对性地自动推送服务信息。“嵌”即智能嵌入。如可以将业务办理规则嵌入网格移动终端,如一旦采集满足条件自动推送。
树立“法治与证据”理念。大数据时代也是法制时代。改善大数据时代的社会治理,要进一步强化证据意识。福田区委、区政府强调提高社会治理能力要树立“经济社会是法治社会,法治社会是证据社会,只有掌握了证据才能掌握主动权,才能解决问题”的理念,注重用证据来说话,用证据来讲事实摆道理。同时强调收集证据不仅仅是政法部门的事,而是所有政府部门的事。
在智慧福田的建设过程中,福田提出了要实现信息证据化,既所有信息流程都要打标留痕,作为法定证据。通过法定签名、电子摄像等形式确定办事群众的法律主体地位,确保主体合法化;按照法律规定履行告知义务,使办事群众了解法律政策,掌握审批流程,提前准备相关资料,确保审批主动化;通过“审批结果电子上传—法律文书纸质确认—法律文书电子归档”的流程,确保群众申请、政府告知、电子归档、法律文书等环节实现流程证据化,对于执法、管理或服务工作中产生的各类文书、资料,电子化保存、归档,一方面,节约成本,延长保存期限,提高使用效率;另一方面,能长期保留证据,应对以后可能出现的申诉或投诉。
树立“信息支撑”和“流程再造”理念。在智慧福田建设和社会治理创新过程中,福田区从一开始就注重顶层设计,由区委领导统一协调部署相关工作,尤其强调“信息支撑”即建立“数据集中采集、资源多方共享”的共建共享机制,按照无条件提供信息数据的要求,打破信息壁垒,打通部门循环,促进资源融合,实现智能共享,为群众提供方便快捷、周到细致的服务;强调“流程再造”理念,整合全区现有各方数据资源、社会服务管理资源,全面调研各层级、各部门的业务需求和居民群众的实际需求,认真梳理各项业务工作的办事流程、业务关联、信息关联,通过循环交换、智能推送,简化程序、减少环节、再造流程,提升服务效能,方便群众办事。注重深度挖掘和发挥信息作用,并利用此机会进行政府各职能部门的业务流程再造。
构建电子政务应用体系
福田区委、区政府以深圳织网工程和智慧福田建设为契机,依托大数据系统网络,着力构建以民生为导向的完善的社会建设电子政府应用体系,并在此基础上积极开展业务流程再造,有效提高了福田区的行政效能和社会治理能力。
建设“一库一队伍两网两系统”。一库即一个公共信息资源库,主要由基础信息库、业务信息库和主题信息库构成。一队伍即一支网格信息员队伍。以社区为基础划分为若干个基础网格,每个网格配备一名网格管理员,负责各类信息的采集。两网即社会管理工作网和社区家园网。两系统即综合信息采集系统和决策分析支持系统。
建设“两级中心、三级平台、四级库”。这是智慧福田的重点建设内容。两级中心即区管理运营中心和街道管理运营中心。三级平台即街道、社区、网格三级工作平台。四级库即区、街道、社区、网格数据库。主要目的是为“织网工程”综合信息系统在福田区全区各层面、各单位、各系统全面开发利用提供系统支持和技术保障。
构建“三厅融合”的行政审批系统。“三厅融合”即全面改革全区办证大厅运作模式,将区、街道行政服务大厅和网上办事大厅三厅融合,打造“综合受理、后台审批、统一发证、监督监管”的工作模式,实现所有审批事项“一网办、一窗办、一站办”。其特点为:一是梳理审批权责清单。老百姓面对的只是办事事由,只是综合受理窗口和发证窗口,不再面对具体办证部门。二是实行并联审批。涉及多部门审批事项,按照“一门受理、抄告相关、同步审核、限时办结”的原则,由政府内部进行“联审联办”,并联审批。三是实现即来即办。凡是提交材料齐全、不需上会或专家评审、现场勘查的申请,一律即来即办。四是实现全区通办。辖区居民可不受时间地域限制,进行网上申报,并可在辖区范围内任何受理点就近办理事务。五是实现无纸化办证。建设证照证件数据库,智能比对,不再要求居民提供相关纸质证明和重复提供复印件,只需要提供身份证或法人机构代码证就可以办理,着力解决申报材料多、重复提交多等问题。
建设政务征信体系。建设政务征信体系是福田区在社会信用体系建设政务领域的积极探索。其主要内容为:政务诚信信息主题库、政务诚信信息管理系统、政务诚信服务网站,以及配套制定的《政务诚信信息管理办法》,即“一库、一系统、一网站、一办法”。其主要建设内容为:一是诚信管理规范。二是诚信信息收集。三是建立政务征信信息查询系统,提供诚信查询服务。
通过大数据系统网络和电子政务应用体系建设,福田区全面梳理“自然人从生到死,法人从注册到注销,房屋楼宇从规划、建设到拆除”全过程政府管理服务相对应的所有数据,为实现信息循环、智能推送提供数据规范和数据支持。并在信息资源融合共享的基础上,广泛进行部门业务工作需求调研,理清部门之间的业务关系和信息关联,通过部门循环、信息碰撞、智能推送,再造工作流程,有效减少了工作环节,简化了工作程序,提升了服务效能,方便了群众办事。同时随着政务信息资源面向社会开放的逐步推进,各类社会组织、企业和公众将可以合理使用不含隐私信息的基础数据,为社会提供个性化服务和增值服务。
找准流动人口自主申报切入点
随着社会不断发展,人口管理不断遇到各种挑战,日益成为社会治理的重点和难点。深圳现有总人口1600多万,其中户籍人口310万,流动人口1300多万,是珠三角乃至全国流动人口最多的城市,流动人口规模大、流动性高,具有人口总量多、农村户口多、租房居住多、同乡聚居多、无业人员多,年龄偏低、文化偏低,居住变化快“五多二低一快”的特点。深圳流动人口给社会建设和社会治理带来巨大挑战和压力,使深圳较早面临城市化过程中不可避免的人口服务与管理问题。为此,深圳把如何有效破解城市人口二元结构难题,使流动人口更好地融入城市,共享改革发展成果,共建平安和谐社会,作为社会建设和社会管理的首要任务。加强和改善流动人口管理成为提高社会治理能力和完善社会治理机制的重要切入点和抓手,通过大数据系统网络和电子政务应用体系建设,深圳市福田区在人口管理上创新性地开展了人口信息自主申报,使城区公民参与到人口信息采集工作当中,在提高信息采集效率的同时,促进了人口管理工作向社会治理方向改进。
统筹协调。福田区通过搭建信息自主申报服务平台,借助全市“人、楼、房”数据库和智慧福田数据库为支撑,强化房屋分类分级分色管理、申报信息审核管理、派单跟踪绩效管理等三项管理,推送法律宣传服务、短信提醒服务、上门办证服务、数据共享服务等四种服务,实现了便捷申报、重点管控、减员增效、居民自治、数据安全五个目标。同时,通过强化宣传推动和执法核查,实现居民遵守法律、自我管理和尊重诚信的社会氛围,运用网格化、信息化和大数据理念,进一步提高社会管理精细化、数字化和动态化管理水平。
搭建平台。提供便民实用的申报平台。一是实现自动注册批量推送;二是实现导航指引式操作,基层和群众普遍反映良好,满足了信息申报和管理需求;三是实现手机智能APP申报,群众通过手机扫描二维码,即可链接到手机网页视窗进行随时、随地申报;四是实现当事人只需录入两项信息便完成申报。同时,深圳市综管办向福田区提供深圳市近1亿条历史人口信息数据,用于自主申报的数据比对和信息迁移,实现了最大化的便捷申报。
信息申报。在人口信息自主申报过程中,福田区采取“大部分信息主动申报,少数信息上门采集核查”的运作模式。“主动申报、上门核查”,福田区将诚信申报的大部分信息直接入库,综管员只对部分存疑信息或未申报的人员上门核查。实行自主申报后,综管员把更多精力用于对隐患、事件信息的重点采集和深化管理,并通过网格固化属地管理和精细化采集,经过数据的比对分析,筛选防控对象、育龄妇女等重点人群,再由网格员有重点、有针对性上门采集、核实,确保纠纷、事件、计生等信息的获取不受影响。
宣传引导。在整个自主申报过程中,福田区充分运用报刊、电台、地铁(公交)、高层楼宇等平台,以移动电视、展板以及宣传折页、海报等媒体介质,开展全方位、多角度、立体式的宣传,市民对自主申报工作的知晓率和配合度显著提升,形成了自主申报的社会氛围。
同时,为确保自主申报工作扎实推进,福田区通过敬告执法和联动执法,大力开展专项执法行动,实现了自主申报“软约束”和“硬约束”。一是开展敬告执法;二是建立“三联执法”机制;三是开展专项执法行动。
强化监督。福田区通过建立健全指导督办工作机制,强力推进自主申报工作的全面开展。一是建立两级指导培训工作机制;二是建立每周通报工作机制;三是实施约谈推进工作机制;四是落实目标量化责任机制;五是建立奖励激励机制。
福田区多措并举推进人口信息自主申报工作,在理念模式和可操作性上独具特色,并经过一段时期的工作推进,取得突出成效。
深化民生微实事改革
城市社区治理创新是社会治理创新的重要支撑点,而社区治理创新的重点则是如何完善社区居民参与社区治理的机制和渠道,如何提高社区居民公众参与社区治理的积极性,如何培育和提高社区居民社区自治的能力,只有社区居民才最了解本社区的情况和自身的需求与偏好,因此创新社区治理方式,激活社区居民自治是引导公众参与社会治理的重要途径,是形成多元化社会治理格局不可或缺的内容。在探索社区治理创新,激活社区居民自治方面,深圳福田区通过开展“民生微实事”改革,以高效、快速解决百姓迫切需要、普遍关注的小事、急事、难事为切入点,创新性地走出一条社区居民“自我管理、自我服务、自我教育、自我监督”的社区自治推进路径。
“民生微实事”改革的主要内容是福田区人大代表提出的由区财政安排专项资金,建设社区居民普遍关心和迫切需要的民生小项目。“民生微实事”项目的特点是单个项目资金量少,都是群众热切希望解决的惠民小项目。内容主要涉及小区设施维护、环境改造、文化服务等群众迫切需要的方方面面。福田区委、区政府高度重视这项改革,制定《福田区“民生微实事”改革项目工作指引》,同时把该项改革同2012年福田区创新推出的“居民议事会”项目相结合,实现了“以居民议事会为平台,以居民共同商议、集体决策实事项目为内容,以议事规则为保障”的“平台+内容+制度”的系统整合。“民生微实事”改革的所有微实事项目均来源于居民群众,并经居民议事会全体成员民主投票决议之后,按照“三议三公开”的原则组织实施。“三议”指项目由社区居民提议,街道党工委组织工作站、居委会、群众、专家商议,居民议事会决议;“三公开”是指决议结果公开、实施过程公开、实施结果和评价公开,充分发挥居民决议作用。以上措施有效激发了辖区居民参与社区管理服务事务的热情,发挥了居民自我管理、自我服务、自我教育、自我监督的民主自治权利。
通过实施“民生微实事”改革,福田区一方面提高公共服务支出效能,提升社区居民满意度,改善了党群关系,另一方面有效激活了社区居民自治管理活力,培育了社区自治能力。福田区的“居民议事会”平台本身聚集社区各类组织、精英、贤达、户籍和非户籍居民代表,是社区居民充分表达民意的基础平台。而2014年的“民生微实事”改革项目让这一民主平台更接地气、更有内涵、更具活力。
“民生微实事”改革项目,是福田区一场解决好联系和服务群众“最后一公里”问题的尝试。福田区莲花街道从“小事”入手,不断以问题为导向、需求为导向、实干为导向、责任为导向,创新社区管理模式,通过打造党群“互动圈”、民生“服务圈”、基层“法治圈”、居民“自治圈”,构建了上下互动、党群互信、同心同德、人人参与、邻里和睦的社区“生态系统”。
福田区社会治理方式创新的经验启示
福田区利用织网工程建设和智慧城市建设的契机,把新技术应用与社会治理机制创新相结合,对房屋管理、人口管理、社会参与机制等积极探索,其所取得的经验,对研究大数据背景下的社会治理方式具有重要的理论与实践价值。
理念更新是大数据时代社会治理方式创新前提
当今时代,随着物联网、云计算、大数据、移动互联网的发展,传统的信息化和网络概念已经远远不能适应信息技术发展给社会和人民群众生活带来的巨大变化。同时传统的城市管理、居民服务和社会管理模式也必须通过改革实现重大创新,才能及时响应和满足大数据时代社会各个主体共同参与社会治理的需要。深圳市福田区的实践表明,深刻领会正确先进的大数据相关理念,对促进城市转型升级和提高可持续发展能力、提升社会治理能力、实现推进社会治理机制创新、促进社会治理实现管理精细化、服务智慧化、决策科学化、品质高端化,具有重要作用。
掌握基础数据是大数据时代社会治理方式创新的基础
大数据时代,社会治理所需的数据和信息迅速增长,各项社会建设工作的开展、各种社会治理方式的创新和各种公共服务的提供都需要大量的基础数据与信息。如果没有掌握大量的基础数据与信息或者政府掌握的信息与数据不能及时更新,政府和各个社会主体就不能真正及时了解社会的各种需求,也无法规划和选择合理的提供服务的路径与方式。
为及时精准掌握全市社区基础数据,深圳市在全市实施“织网工程”,自2013年年底开始全面开展社区网格化管理工作。主要内容是:按照“属地管理、街巷定界、规模适度、无缝衔接、动态管理”的原则,将城市社区划分为一定数量的基础网格,作为社区服务管理的基本单元和相关职能部门实施网格管理的对接基础。
一是科学划分社区基础网格,至2014年5月底,全市共划分社区基础网格16417个。二是为规范基础信息采集行为、统一信息采集项目,开发社区综合信息系统终端采集软件,积极探索社区基础数据采集、传输、分流、清洗、二次应用的方法和经验。三是协调设立市、区网格管理机构。四是积极稳妥地推进网格管理队伍整合,按照“一格一员、采办分离”原则,对网格员进行定岗定责,统一采集网格内实有人口、实有法人、实有房屋(城市部件)、实有事件(矛盾纠纷和隐患问题)信息,提供给全市公共信息资源库。五是组织开展PDA采集信息。各区按照核定的网格员数量,逐步落实PDA设备选型和招标采购,网格员利用手持移动PDA设备和身份证读卡器,直接在现场采集、录入、上传人口信息。增强信息采集的实效性,而且提高了信息采集质量,特别是照片上传率、人口信息要素完整率明显提升。
流动人口管理是大数据时代创新社会治理方式的有效抓手
现代社会是高风险社会,社会越发展,社会系统越复杂,系统也越发脆弱。社会的许多风险是隐形或潜伏的,并且风险的爆发具有不可预测和不确定性。而在全球化时代和信息时代,人员、信息、资本、资源的跨区域流动越来越频繁、规模越来越大,在促进社会发展的同时也加速了风险的传播和扩大。经过30多年的改革开放和快速发展,中国社会已经由一个低流动性社会发展成为高流动性社会,人口在不同地区之间流动的规模不断增大。人口流动规模及由其带动的社会资源流动规模扩大带来的社会流动性的大幅增加,强化和放大了各种社会风险,给社会治理工作带来无法回避的巨大挑战。
进入大数据时代,一方面,流动人口的规模更大,流动性更高,给社会治理带来更大的挑战。另一方面,新技术的采用、对数据价值的更深层次的挖掘和应用、理念的更新、政府职能的转变和业务流程再造、新参与渠道的不断扩展也为流动人口管理工作效能提升和社会治理能力提高提供了重要契机和可能。社会管理和社会治理的主要区别在于,管理偏重于政府的主体作用,治理则注重多元主体的共同作用。社会治理的创新和改善,离不开各种社会主体的对社会治理共同参与,而完善流动人口对社会治理的参与机制和参与方式,扩展流动人口参与渠道是进一步提高我国社会治理能力,完善治理机制的重要内容。
出租屋管理是联结高流动性社会中社会治理各个方面的关节点。大数据时代,社会也具有高度的流动性,在高度流动的人流、信息流、资本流和物流中,物业或房屋既具有相对的稳定性,同时社会治理的对象主要是人和各个社会主体,而任何人口的流动过程或者法人的变更过程都离不开居住地或注册地的变动。因此,加强出租屋管理是提高社会治理能力和强化流动人口管理的重要途径。2007年深圳在全国率先探索建立房屋编码制度。按照一户一码、统一编号的原则,对所有房屋包括合法和违法建筑分别设定了唯一的房屋编码,实现实有房屋全覆盖,并制作房屋电子地图。房屋编码实行动态管理,房建设码、房拆取消、定期普查、及时更新,房屋编码不仅是出租屋登记管理的重要依据,而且逐步应用到居住证发证、门楼牌管理和城市管理的其他方面。
建设服务型政府是大数据时代社会治理方式创新的关键
大数据时代社会治理方式创新必须转变政府职能,建设服务型政府,充分运用大数据系统,提升政府便民服务水平,提高政府行政管理效能至关重要。从福田区的实践来看,从全员上门采集到有针对性上门核对,更多体现政府从“重管理”到“重服务”理念和行动的真实转变,核对信息的服务模式更容易让市民接受,也避免了重复扰民现象。另外,申报的数据通过与智慧福田综合数据库的碰撞,将实现区、街道、社区三级服务大厅和办事窗口之间数据的随机调用,市民在任何一个就近的办事窗口都可以利用申报的数据办理居住证、子女入学、计划生育、高龄补贴等业务,减少了大量纸质材料的提交、审核,提高了办事效率。同时,从社区居民密切相关“小事”切入,能够有效推进我国的城市社区治理从政府管理向社区居民自我治理转变,有利于为社会治理构建最为坚实的民意和群众基础。
同时,政府从上户全员采集信息到大部分信息主动申报的模式转变,政府把有限的资源用于对少数重点人群的管理,使政府资源的配置更趋合理,实现了由社会管理向社会治理方式的转变。另外,自主申报不再是人海战术的上户采集,只需对自主申报的信息开展有针对性上户核查和上门服务,各街道把释放出来的人力、财力用于民生服务和稳定队伍、优化结构,调动了基层一线工作人员的积极性。实施自主申报后,全区综管员配备减少11%,减员增效初步显现。
以上是小编为大家分享的关于大数据时代社会治理方式创新的相关内容,更多信息可以关注环球青藤分享更多干货
⑷ 大数据时代下数据治理该如何破题发力
数据治理的关键能力是对数据资产进行管理和维护的能力。至于如何发力的话,未来的智慧城市建设趋势将是“全数化”。在数字化基础之上,围绕数字空间建立一个孪生城市,以大数据为中心,实现智能服务与生态建设全面深入的数字化、网络化、智能化,实现城市的感、联、智、控,解决城市巨系统的持续改进和智能涌现的问题。
这需要破解信息系统边界,实现多雀漏系统多领域的综合融通。数据治理的能力,决定了数据的利用能力,而数据治理的核心是数据的合规,巧岁燃这需要通过法律法规、地方条例等加以规范。所以还是希望通过法律制度打破数据孤岛,实孝虚现数据融合,促进数字正义。
⑸ 大数据时代如何做好数据治理
企业数据分析系统的数据来源是各个业务系统或手工数据,这些数据的格式、内容等都有可能不同。如果不进行数据治理,数据的价值难以发挥。只有对数据标准进行规范,管理元数据、数据监控等,才能得到高质量的数据。得到规范的数据后,才可在此基础上进行主题化的数据建模、数据挖掘、数据分析等。
2013年被众多的IT人定义为中国的大数据元年,这一年国内的大数据项目开始在交通、电信、金融部门被广泛推动。各大银行对Hadoop的规划、POC尤其风生水起,带动了一波大数据应用的热潮,这个热潮和当初数据仓库进入中国时的2000年左右很相似:应用还没有想好,先归集一下数据,提供一些查询和报表,以技术建设为主,业务推动为辅。这就导致了这股Hadoop热潮起来的时候,传统企业都是以数据归集为主的,而BAT这样的企业则天生以数据为生,早早进入了数据驱动技术和业务创新的阶段。
随着Hadoop技术的提升,数据如何进来,如何整合,开展什么样的应用都已经有了成熟的案例,可是,同传统数仓时代一样,垃圾进垃圾出,如何破?相比传统数仓时代,进入Hadoop集群的数据更加的多样、更加的复杂、量更足,这个数仓时代都没有处理好的事情,如何能够在大数据时代处理好,这是所有大数据应用者最最期盼的改变,也是大数据平台建设者最有挑战的难题:数据治理难的不是技术,而是流程,是协同,是管理。 睿治数据治理平台平台架构
元数据:采集汇总企业系统数据属性的信息,帮助各行各业用户获得更好的数据洞察力,通过元数据之间的关系和影响挖掘隐藏在资源中的价值。
数据标准:对分散在各系统中的数据提供一套统一的数据命名、数据定义、数据类型、赋值规则等的定义基准,并通过标准评估确保数据在复杂数据环境中维持企业数据模型的一致性、规范性,从源头确保数据的正确性及质量,并可以提升开发和数据管理的一贯性和效率性。
数据质量:有效识别各类数据质量问题,建立数据监管,形成数据质量管理体系,监控并揭示数据质量问题,提供问题明细查询和质量改进建议,全面提升数据的完整性、准确性、及时性,一致性以及合法性,降低数据管理成本,减少因数据不可靠导致的决策偏差和损失。
数据集成:可对数据进行清洗、转换、整合、模型管理等处理工作。既可以用于问题数据的修正,也可以用于为数据应用提供可靠的数据模型。
主数据:帮助企业创建并维护内部共享数据的单一视图,从而提高数据质量,统一商业实体定义,简化改进商业流程并提高业务的响应速度。
数据资产:汇集企业所有能够产生价值的数据资源,为用户提供资产视图,快速了解企业资产,发现不良资产,为管理员提供决策依据,提升数据资产的价值。
数据交换:用于实现不同机构不同系统之间进行数据或者文件的传输和共享,提高信息资源的利用率,保证了分布在异构系统之间的信息的互联互通,完成数据的收集、集中、处理、分发、加载、传输,构造统一的数据及文件的传输交换。
生命周期:管理数据生老病死,建立数据自动归档和销毁,全面监控展现数据的生命过程。
数据安全:提供数据加密、脱敏、模糊化处理、账号监控等各种数据安全策略,确保数据在使用过程中有恰当的认证、授权、访问和审计等措施。
建立完整的、科学的、安全的、高质量的数据管控技术体系,是首要的任务。作为数据管控的基石,为了更好支撑后续工作的开展,技术体系必须一步到位,是功能完备、高质量、高扩展性的,而不是仅实现部分功能,或者功能不完善的“半成品”。
叠加更多业务数据、细化数据业务属性与管理属性、优化与调整数据管控流程,尤其是适应未来的现代企业数据管控制度的建立完善,是逐步积累推广、不断磨合改进的长期过程。这些工作应及早启动,并成为后续大数据平台建设工作的重点。
谈大数据时代的数据治理 当前要做的是功能框架的完善,而完善的着力点则是“数据资产目录”:用资产化的视角来管理一个企业的数据,只有把数据作为资产来认识和管理,大数据项目才能达成预期,也能够治理好。大数据时代带来的价值,个人认为主要有两个,一个是技术架构,主要是架构理念的进步,另外一个更重要的则是对数据的重视。大数据时代是数据的时代,IT向DT转型,不单单是BAT,所有的IT公司,未来都在数据这两个字上。
对于一个企业来说,把数据作为资产,才是建设大数据的最终目的,而不是仅仅是因为Hadoop架构带来性价比和未来的扩展性。当一个企业把数据作为资产,他就像管理自己名下存折、信用卡一样,定期梳理,无时无刻不关心资产的变化情况,关注资产的质量。
而资产目录就是管理资产的形式和手段,他像菜单一样对企业的资产进行梳理、分门别类,提供给使用者;使用者通过菜单,点选自己需要的数据,认可菜单对应的后端处理价值,后厨通过适当的加工,推出相应的数据服务;这是一个标准的流程,而这些流程之上,附着一整套数据管理目标和流程。
大数据平台以数据资产目录为核心,将元数据、数据标准、主数据、数据质量、数据生命周期、数据轮廓等信息在逻辑层面关联起来,在管理层面上整合成统一的整体,构建起数据管理体系,全面的支持数据服务等具体应用。
大数据平台实现了数据存储、清洗和应用。在数据汇入和汇出的过程中,需要对数据的元数据进行统一记录和管理,以利于后续的数据应用和数据血缘分析。数据质量一直是数据集成系统的基础工作,对数据的各个环节设置数据质量检查点,对数据质量进行剖析、评估,以保证后续应用的可信度。
在数据收集的过程中,随着数据维度、指标的聚集,如何找到所需的业务指标及属性,并且评估相关属性的业务及技术细节,需要对收集的所有数据进行业务属性,并进行分类,建立完善的数据资产目录。
数据资产目录是整个大数据平台的数据管理基础,而数据资产目录由于数据的多样性,在使用的过程中,必然涉及数据权限的申请、审批管控流程,而管控流程的建立依赖于相应岗位的设立和对应职责的建立。
大数据平台的数据管理架构规划,通过数据物理集中和数据逻辑整合,彻底摆脱企业“数据竖井”的困境。大数据平台数据管理架构分为功能架构、流向规划和数据架构三个层面。
数据管理功能架构:借鉴DAMA数据管理和DMM数据成熟度理论,着眼于数据管理技术和数据管理流程融合,组织数据管理功能。
数据流向规划架构:规划整个大数据平台的数据流向,并在数据流入、数据整合、数据服务的具体环节实现精细化管理。
数据管理的数据架构:以数据资产目录为核心,数据项为最小管理单元,将技术元数据(实体、属性和关系)、业务元数据和管理元数据(数据标准、主数据、数据质量、数据安全)融合为彼此紧密联系、密不可分的整体,共同构成精细化管理的数据基础。
数据管理在整个大数据平台不仅仅是一个主要功能模块,它还是整个企业层面数据治理的重要组成部分,它是技术和管理流程的融合,也需要合理管控流程框架下组织机构之前的协调合作。如何利用统一的数据管理模块对企业所有进入到数据湖的数据进行有效管控,不单单取决于数据管理模块本身,也取决于元数据的合理采集、维护,组织结构及制度的强力支持保证。
谈大数据时代的数据治理 大数据平台数据管理参照了DAMA对于数据管理的九个管理目标,并进行裁剪,并对部分管理目标进行了合并,并参照了CMMI制定DMM数据成熟度目标,采用循序渐进,逐步完善的策略对管理目标进行分阶段完成,制定完整的管控流程和数据治理规范,以便持续的对数据进行管理,递进实现DMM定义的成熟度目标。
亿信睿治数据治理管理平台和DAMA的对应关系如下:
谈大数据时代的数据治理 大数据平台数据管理的核心内容是数据资产目录,围绕数据资产目录的数据流入、数据整合、数据服务都是数据管理的核心。数据管理主要管理数据的流动,以及管理流动带来的数据变化,并对数据底层的数据结构、数据定义、业务逻辑进行采集和管理,以利于当前和未来的数据使用。为了更好的对数据进行管理和使用,制度层面的建设、流程的设立必不可少,同时也兼顾到数据在流动过程中产生的安全风险和数据隐私风险。
因此数据管理介入到完整的数据流转,并在每个节点都有相应的管理目标对应,整个数据流框架如下图所示:
谈大数据时代的数据治理 企业在建制大数据平台的同时,对进入数据湖的数据进行梳理,并按照数据资产目录的形式对外发布。在发布数据资产之后,则对进出数据湖的数据进行严格的出入库管理,保证数据可信度,并定期进行数据质量剖析检查,确保数据资产完善、安全、可信,避免“不治理便破产”的谶言。
⑹ 大数据给国家治理方式带来哪些变革
一、“四个结合”助力国家大数据战略
实施国家大数据战略部署和顶层设计,需要我们做到“四个结合”:把政府数据开放和市场基于数据的创新结合起来。政府拥有80%的数据资源,如果不开放,大数据战略就会成为无源之水,市场主体如果不积极利用数据资源进行商业创新,数据开放的价值就无从释放;把大数据与国家治理创新结合起来。国务院的部署明确提出,“将大数据作为提升政府治理能力的重要手段”“提高社会治理的精准性和有效性”,用大数据“助力简政放权,支持从事前审批向事中事后监管转变”“借助大数据实现政府负面清单、权力清单和责任清单的透明化管理,完善大数据监督和技术反腐体系”,并具体部署了四大重大工程:政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程;把大数据与现代产业体系结合起来。这里涉及农业大数据、工业大数据、新兴产业大数据等,我国的产业结构优化升级迎来难得的历史机遇;把大数据与大众创业、万众创新结合起来。国务院专门安排了“万众创新大数据工程”,数据将成为大众创业、万众创新的肥沃土壤,数据密集型产业将成为发展最快的产业,拥有数据优势的公司将迅速崛起。
此外,我国作为世界制造业第一大国,需要高度关注一个现实——大数据重新定义了制造业创新升级的目标和路径。无论是德国提出的工业4.0战略,还是美国通用公司提出的工业互联网理念,本质正是先进制造业和大数据技术的统一体。大数据革命骤然改变了制造业演进的轨道,加速了传统制造体系的产品、设备、流程贬值淘汰的进程。数字工厂或称智能工厂,是未来制造业转型升级的必然方向。我国面临着从“制造大国”走向“制造强国”的历史重任,在新的技术条件下如何适应变化、如何生存发展、如何参与竞争,是非常现实的挑战。
二、推动大数据在国家治理上的应用
在大数据条件下,数据驱动的“精准治理体系”“智慧决策体系”“阳光权力平台”将逐渐成为现实。大数据已成为全球治理的新工具,联合国“全球脉动计划”就是用大数据对全球范围内的推特(Twitter)和脸谱(Facebook)数据和文本信息进行实时分析监测和“情绪分析”,可以对疾病、动乱、种族冲突提供早期预警。在国家治理现代化进程中推动大数据应用,是我们繁重而紧迫的任务。
在政府治理方面,政府可以借助大数据实现智慧治理、数据决策、风险预警、智慧城市、智慧公安、舆情监测等。大数据将通过全息的数据呈现,使政府从“主观主义”“经验主义”的模糊治理方式,迈向“实事求是”“数据驱动”的精准治理方式。
经济治理领域也是大数据创新应用的沃土,大数据是提高经济治理质量的有效手段。互联网系统记录着每一位生产者、消费者所产生的数据,可以为每个市场主体进行“精确画像”,从而为经济治理模式带来突破。判断经济形势好坏不再仅仅依赖统计样本得来的数据,而是可以通过把海量微观主体的行为加总,推导出宏观大趋势;银行发放贷款不再受制于信息不对称,通过贷款对象的大数据特征可以很好地预测其违约的可能性;打击假冒伪劣、建设“信用中国”也不再需要消耗大量人力、物力,大数据将使危害市场秩序的行为无处遁形。
在公共服务领域,基于大数据的智能服务系统,将会极大地提升人们的生活体验,智慧医疗、智慧教育、智慧出行、智慧物流、智慧社区、智慧家居等等,人们享受的一切公共服务将在数字空间中以新的模式重新构建。
三、加强大数据动态的跟踪研究
我国要从“数据大国”成为“数据强国”,借助大数据革命促进国家治理现代化,还有几个关键问题需要深入研究。
切实建设数据政策体系、数据立法体系、数据标准体系。以数据立法体系为例,一定要在数据开放和隐私保护之间权衡利弊,找到平衡点。
重视对“数据主权”问题的研究。借助大数据技术,美国政府和互联网、大数据领军公司紧密结合,形成“数据情报联合体”,对全球数据空间进行掌控,形成新的“数据霸权”。思科、IBM、谷歌、英特尔、苹果、甲骨文、微软、高通等公司产品几乎渗透到世界各国的政府、海关、邮政、金融、铁路、民航系统。在这种情况下,我国数据主权极易遭到侵蚀。对于我国来说,在服务器、软件、芯片、操作系统、移动终端、搜索引擎等关键领域实现本土产品替代进口产品,具有极高的战略意义,也是维护数据主权的必要条件。
“数据驱动发展”或将成为对冲当前经济下行压力的新动力。大数据是促进生产力变革的基础性力量,这包括数据成为生产要素,数据重构生产过程,数据驱动发展等。数据作为生产要素其边际成本为零,不仅不会越消耗越少,反而保持“摩尔定律”所说的指数型增长速度。这就可能给我国经济转型升级带来新动力,对冲经济下行压力。
需要建设一个高质量的“大数据与国家治理实践案例库”。国家行政学院一直重视案例库的建设,在中央的重视和支持下,就大数据促进国家治理这一主题,各部门、各地方涌现出大量创新性的实践案例,亟须进行系统梳理和总结,形成一个权威的“大数据与国家治理实践案例库”,以方便全国领导干部进行借鉴和推广。
在大数据时代,个人如何生存、企业如何竞争、政府如何提供服务、国家如何创新治理体系,都需要重新进行审视和考量。我们不能墨守成规,抱残守缺,而是要善于学习,勇于创新,按照党中央、国务院的战略部署,政府和市场两个轮子一起转,把我国建设成“数据强国”。
⑺ 大数据治理的介绍
大数据将打开各行各业的数据“潘多拉魔盒”。社交网站、电商巨头、电信运营商乃至金融、医疗、教育等行业,都将加入大数据的“淘金”热潮,政府部门同样会从大数据中获益匪浅。如何将海量数据应用于决策、营销和产品创新?如何利用大数据平台优化产品、流程和服务?如何利用大数据更科学地制定公共政策、实现社会治理?所有这一切,都离不开大数据治理。可以说,在大数据战略从顶层设计到底层实现的“落地”过程中,治理是基础,技术是承载,分析是手段,应用是目的。桑尼尔·索雷斯的《大数据治理》的翻译出版,正当其时。 《大数据治理》一书较好地满足了理解大数据治理框架的需要,系统地阐述了大数据治理的各个版块,分析了五大类大数据的治理,考察了大数据治理在典型行业的实践,并深入浅出地介绍了当今主流的大数据技术与平台。该书具有一定的可参照性、可操作性和可读性,是大数据治理领域值得一读的参考书。
⑻ 如何实现大数据时代的政府治理创新
1、在政府系统进一步确立大数据的理念,研究制定大数据施政发展规划
2、夯实大数据产业基础,提供大数据施政平台技术支撑。
3、打通各部门各层级之间信息孤岛,实现大数据信息资源互联共享。
4、发挥第三方力量的作用,政府积极购买大数据相关技术服务
⑼ 医疗行业大数据数据治理概况
1、医疗行业大数据数据治理痛点
医疗行业的大数据,存在数据收集、存储、整合、管理不规范的情况,导致数据利用率不高;加之跨部门、跨机构之间数据共享机制的缺失,“信息孤岛”现象普遍,直接影响到大数据的有效利用。
2、医疗行业对数据治理的要求
(1)数据采集环节:存在海量多源异构数据,数据采集工具需覆盖全业务、多终端、多形态的数据。
(2)数据处理环节:需要标准化的数据处理工具,将汇集整合的数据,与国际标准、国家标准、行业标准进行比对,转换为统一格式的标准化数据。
(3)数据质控环节:可通过数据逻辑校验,对数据的完整性、准确性、一致性、关联性、规范性、可用性等方面的质量进行评价管理,并及时对汇总数据进行修正,从而提高数据质量。
(4)数据安全环节:需要满足数据采集、传输、存储、处理、交换及销毁等各环节的数据安全防护需求,实现数据的分类分级管控、权限管控、敏感数据监控、数据操作异常行为监控、数据加密等服务。
(5)数据应用环节:需要面对辅助诊断、精准医疗、临床科研等数据应用场景,提供便捷的数据查询、分析和展示服务,并基于一定的安全保障措施,实现数据流全流程留痕、可查询、可追溯。
3、医疗行业数据治理工具全景
中国电子技术标准化研究院新出的《数据治理工具图谱研究报告(2021版)》中,将数据治理工具分为三层,数据战略层、数据管理层和数据操作层,如下为全景图谱。
⑽ 大数据治理平台——维度管理
苏宁八大产业,每个产业有自己的数据集市,每个数据集市有自己的维度表,没有统一的维度管理(包括管理规范和系统支撑)。业务痛点包含以下几个方面:
建立统一的维度管理系统,实现对维度信息的统一管控,并为集团的数据产品提供统一的维度数据服务,包含维度开发管理,维度信息管理及维度数据服务三个方面。
维度数据
如上图所示,ETL将采集的数据,进行数据清洗之后存储到维度数据仓库(磐石)中,维度系统再将维度数据仓库中的数据同步达到维度库系统。
维度数据存储方式:维度数据一般以一百万的数据量作为分割点,一百万以上数据量的维度采用的存储是HBASE,一百万以下的数据采用的存储是MYSQL。
维度数据同步方式:存储到HBASE的维度数据采用的是BULKLOAD导入,存储到MYSQL的维度数据采用的是SPARKSQL+RDD写入。针对数据同步腊橡都已经实现通过页面配置任务的方式一键同步,节省人工。
为什么采用这种存储方式?
1, 针对数据量的大小采用不同的存储引擎,节约存储资源,提高维度服务的稳定性。
2, 实时指标的计算:OALP需要关联维度表和事实表做指标数据加速(实时计算指标数据)。这种需要实时的查询维度表的所有维度属性,调用量非常庞大,所以采用了直接查询HBASE的方式。
3, 维度需要提供基于维度值ID查询维度值名称的服务(包括批量精确查询和模糊查询),HBASE在精确查询上性能较高。MYSQL由于数据量不大,可以再加一层分布式缓存,提高精确查询维度值的性能。
维度建模
1, 选择业务过程
根据业务场景以及可用数据源
2, 声明粒度
根据事实表及应用场景,确定汇总粒度,一般尽可能的用最细粒度
3, 确定维度
根据确定的粒度,定义对应的维度,最细粒度,也是最低层次的维度
4, 确定事实
确认将哪些事实放到事实表中,维度表只是做关联,不做维度数据的查询服务。
维度定义
1. 当增加新的维度时,编码号将在已用号码的基础上递增,四位十进制编码号不能满足需求时,可增加编码号长度为五位十进制数,以此类推。
2. 当删除已有的维度时,其编码号将不再利用。
3. 当修改已有的维度时,其编码号不变。
4. 当拆分已有的维度或合并两个及两个以上的维度时(数据应用场景需要),其编码号的使用原则按照删除原维度,并新增拆分/合并后的维度执行。
维度管理
维度:目前维度平台支持快速定义维度,通过设置维度的基本信息,选择维度映射的维度表,做好维度与维度表的映射,设定维度的一些特性(布尔维度,时间维度,杂项维度等),检测维度的定义结果。达到了让业务人员能够只是通过页面操作就可以制定需要的维度。
维度表:数据开发人员可以通过维度库平台定义维度表,定义好之后可以集成数据仓库的同步任务一键将仓库的数据同步到维度表中,将维度表与维度做映射关系。
维度层级:维度库平台支持定义维度层级,只要是维度库平台上有的维度表并且做好维度与维度的映射关系之后,就可以定义需要的维度层级,根据维度层级提供维度值的上卷下钻查询服务。
维度血缘:提供了维度,指标,报表的血缘关系,以及迅局历还准备做的维度数据的血缘,维度,指标,报表调用次数的血缘等等。
维度服务
1. 维度服务调用申请:
调用维度服务,需要在维度库管理系统中申请调用权限。等维度管理系统授权之后,生成维度服务调用授权码,在调用维度服务的时候带上维度服务调用授权码,维度服务会根据授权码判定是否有访问权限。
2. 维度系统提供的服务:
1,对存储在HBASE的维度表,我们又加了一层存储到ELASTICSEARCH(提供维度值的模糊查询服务)
2,针对负载较高的HBASE表,加了一层本地缓存,解决热点问题亩搜。
3,对存储在MYSQL的维度表,我们又加了一层存储到分布式缓存ZEDIS(提供维度值精确查询服务)。提供了定时或者手动刷新缓存数据的功能,以及缓存数据的监控机制。
监控分析
由于维度服务的调用量是亿万级别的,系统的监控统计,采用的是Log4j+kafka+druid的架构,如下图所示,应用将调用日志采用log4j- KafkaLog4jAppender写入kafka中,再将kafka与druid集成,准实时的输入druid中,业务基于druid做统计分析,查看维度服务调用成功或失败的情况。
除了维度服务的调用监控,平台还有针对维度值的数据量监控(主要监控暴增或者突然没有维度数据的情况),维度值数据质量的监控(根据维度表和事实表做数据比对,分析维度值数据的差异情况)。维度数据同步任务的监控(每个维度表的数据同步情况监控,异常告警到具体的任务负责人)。通过各种有效的监控手段,来提升维度服务的稳定性和准确性。
1. 未来平台会更加的完善,会有越来越多的维度在平台上建设,提供更加稳定和高效的维度查询服务。
2. 能够支持更多个性化的维度,能够支持维度的数据版本(例如过去一段时间的维度值),支撑全集团所有数据产品的维度调用服务,将平台打造成苏宁主数据服务的航空母舰。
3. 通过维度数据资产体系的建立,实现集团一切业务数据化,连接打通数据孤岛,驱动一切数据业务化,助力企业数字化转型,让数据做到真正意义上的产生价值。
4. 通过提供各种维度数据支持数据产品及各类应用产品,帮助各岗位用户在日常经营决策中做出正确决策。
目前平台的现状及以后的规划
1, 完善系统监控功能点:缓存任务较多,没有有效的监控,告警机制。
2, 完善业务监控功能点:数据量监控,数据异常监控,告警功能
3, 落地维度新增、变更、下线全流程审核管理功能.
4, 完善应用层的维度、指标、报表数据链路的血缘分析图谱,全方位透析资产,
5, 打通全链路维度变更通知的消息机制,降低数据链路变更带来的风险,
6, 多系统用户资源隔离、限流,保障多个部门在使用和体验上的一致性,
7, 支持用户自定义维度、完善个人工作台,基于通用维度进行维度的衍生,
8, 维度门户的建设,将业务端和管理端进行隔离,提升用户体验