㈠ 大数据技术及应用
大数据技术及应用
半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。21世纪是数据信息大发展的时代,移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀并变大。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。2011年5 月,在“云计算相遇大数据” 为主题的EMC World 2011 会议中,EMC 抛出了Big Data概念。正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。哈佛大学社会学教授加里?金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
二、什么是大数据
大数据(Big Data)是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高,或者其结构不适合原本的数据库系统。为了获取大数据中的价值,我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息,在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源,如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲,大数据的价值体现在两个方面:分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息,定制出高度个性化的用户体验,并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合,谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。
(一)大数据的4V特征
大量化(Volume):企业面临着数据量的大规模增长。例如,IDC最近的报告预测称,到2020年,全球数据量将扩大50倍。目前,大数据的规模尚是一个不断变化的指标,单一数据集的规模范围从几十TB到数PB不等。简而言之,存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外,各种意想不到的来源都能产生数据。
多样化(Variety):一个普遍观点认为,人们使用互联网搜索是形成数据多样性的主要原因,这一看法部分正确。然而,数据多样性的增加主要是由于新型多结构数据,以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中,部分传感器安装在火车、汽车和飞机上,每个传感器都增加了数据的多样性。
快速化(Velocity):高速描述的是数据被创建和移动的速度。在高速网络时代,通过基于实现软件性能优化的高速电脑处理器和服务器,创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据,还必须知道如何快速处理、分析并返回给用户,以满足他们的实时需求。根据IMS Research关于数据创建速度的调查,据预测,到2020年全球将拥有220亿部互联网连接设备。
价值(Value):大量的不相关信息,浪里淘沙却又弥足珍贵。对未来趋势与模式的可预测分析,深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等)
三、大数据时代对生活、工作的影响
大数据,其影响除了经济方面的,它同时也能在政治、文化等方面产生深远的影响,大数据可以帮助人们开启循“数”管理的模式,也是我们当下“大社会”的集中体现,三分技术,七分数据,得数据者得天下。
“大数据”的影响,增加了对信息管理专家的需求。事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。
大数据在个人隐私的方面,大量数据经常含有一些详细的潜在的能够展示有关我们的信息,逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出,我们不应该简单地服从法律方面的隐私保护问题,这些远远不够的,公司都应该遵从谷歌不作恶的原则,甚至更应该做出更积极的努力。
四、大数据时代的发展方向、趋势
根据ESM国际电子商情针对2013年大数据应用现状和趋势的调查显示:被调查者最关注的大数据技术中,排在前五位的分别是大数据分析(12.91%)、云数据库(11.82%)、Hadoop(11.73%)、内存数据库(11.64%)以及数据安全(9.21%)。Hadoop已不再是人们心目中仅有的大数据技术,而大数据分析成为最被关注的技术。从中可以看出,人们对大数据的了解已经逐渐深入,关注的技术点也越来越多。既然大数据分析是最被关注的技术趋势,那么大数据分析中的哪项功能是最重要的呢?从下图可以看出,排在前三位的功能分别是实时分析(21.32%)、丰富的挖掘模型(17.97%)和可视化界面(15.91%)。2012年也曾做过类似的调查,当时选择丰富的挖掘模型(27.22%)比实时分析(19.88%)多7.34%。短短一年时间内,企业对实时分析的需求激增,成就了很多以实时分析为创新技术的大数据厂商。从调查结果可以看出:企业在未来一两年中有迫切部署大数据的需求,并且已经从一开始的基础设施建设,逐渐发展为对大数据分析和整体大数据解决方案的需求。与此同时,大数据还面临人才的缺乏的挑战,需要企业和高校联合起来,培养数据领域的复合型人才,帮助企业打赢这场“数据战”。
五、大数据的应用
(一)行业拓展者,打造大数据行业基石
IBM:IBM大数据提供的服务包括数据分析,文本分析,蓝色云杉(混搭供电合作的网络平台);业务事件处理;IBM Mashup Center的计量,监测,和商业化服务(MMMS)。 IBM的大数据产品组合中的最新系列产品的InfoSphere bigInsights,基于Apache Hadoop。
该产品组合包括:打包的Apache Hadoop的软件和服务,代号是bigInsights核心,用于开始大数据分析。软件被称为bigsheet,软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息为金融,风险管理,媒体和娱乐等行业量身定做的行业解决方案。
微软:2011年1月与惠普(具体而言是HP数据库综合应用部门) 合作目标是开发了一系列能够提升生产力和提高决策速度的设备。
EMC:EMC 斩获了纽交所和Nasdaq;大数据解决方案已包括40多个产品。
Oracle:Oracle大数据机与Oracle Exalogic中间件云服务器、Oracle Exadata数据库云服务器以及Oracle Exalytics商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。
(二)大数据促进了政府职能变革
重视应用大数据技术,盘活各地云计算中心资产:把原来大规模投资产业园、物联网产业园从政绩工程,改造成智慧工程;在安防领域,应用大数据技术,提高应急处置能力和安全防范能力;在民生领域,应用大数据技术,提升服务能力和运作效率,以及个性化的服务,比如医疗、卫生、教育等部门;解决在金融,电信领域等中数据分析的问题:一直得到得极大的重视,但受困于存储能力和计算能力的限制,只局限在交易数型数据的统计分析。一方面大数据的应用促进了政府职能变革,另一方面政府投入将形成示范效应,大大推动大数据的发展。
(三)打造“智慧城市”
美国奥巴马政府在白宫网站发布《大数据研究和发展倡议》,提出“通过收集、处理庞大而复杂的数据信息,从中获得知识和洞见,提升能力,加快科学、工程领域的创新步伐,强化美国国土安全,转变教育和学习模式” ;中国工程院院士邬贺铨说道,“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效,随着智慧城市的建设,社会将步入“大数据”时代。”
(四)未来,改变一切
未来,企业会依靠洞悉数据中的信息更加了解自己,也更加了解客户。
数据的再利用:由于在信息价值链中的特殊位置,有些公司可能会收集到大量的数据,但他们并不急需使用也不擅长再次利用这些数据。例如,移动电话运营商手机用户的位置信息来传输电话信号,这对以他们来说,数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时,则变得更有价值。
六、机遇和挑战
大数据赋予了我们洞察未来的能力,但同时诸多领域的问题亟待解决,最重要的是每个人的信息都被互联网所记录和保留了下来,并且进行加工和利用,为人所用,而这正是我们所担忧的信息安全隐患!更多的隐私、安全性问题:我们的隐私被二次利用了。多少密码和账号是因为“社交网络”流出去的?
眼下中国互联网热门的话题之一就是互联网实名制问题,我愿意相信这是个好事。毕竟我们如果明着亮出自己的身份,互联网才能对我们的隐私给予更好保护
㈡ 大数据时代的产生背景
一、大数据时代城市管理的机遇:
首先,有利于数字化城市建设。城市化过程中出现的管理问题,传统的城市管理方式早已对我国出现的城市问题束手无策,在大数据时代到来的背景下,数字化城市建设就呼之欲出。
其次,有利于电子政务建设。长期以来,我国政府在处理公共事务时都基本采用了传统的处理方式,纸质化的模式占据了主要地位。随着信息技术的不断更新以及大数据时代的到来,电子政务也随之应运而生。由于大数据时代的特点以及不断更新发展,电子政务的形式也不断得到更新。
最后,有利于智慧城市建设。智慧城市建设则是在大数据技术上产生的城市建设和管理方案。可见,大数据时代的到来更加有利于我国的智慧城市建设,为智慧城市的最终建成提供真实可靠的信息基础。会在一定程度上难以实现真正共享。另外,因为信息化很不平衡,各地各部门使用的信息技术标准很难统一,最后导致数据孤岛的现象也并非个例。
二、大数据时代城市管理的挑战 :
大数据时代,机遇存在的同时也不可避免会遇到许多挑战,数据开放不足、数据共享不足、数据质量不优等等都面临着严峻的挑战。
首先,数据开放不足。数据是信息的重要载体,信息的公开在一定意义上就是数据的公开。在所有的数据公开中,政府相关数据公开尤为引人瞩目。国外早就对数据公开确立了“公开为原则,不公开为例外”的原则,我国也有类似规定,但是真实执行情况令人堪忧。
其次,数据共享不足。就目前来看,谁掌握了大量真实可靠的信息,谁就掌握了主动权,信息在一定程度上就是权威的象征,权力和利益的象征。再者,政府各部门大部分存在利己倾向, 信息就会在一定程度上难以实现真正共享。另外,因为信息化很不平衡,各地各部门使用的信息技术标准很难统一,最后导致数据孤岛的现象也并非个例。
然后,数据质量不优。数据质量问题直接影响依靠数据获得的信息的真实有效性,最终影响整体决策的有效性。数据质量主要包括数据的真实性、完整性和有效性。数据在收集、整合、存储和使用四个阶段当中,每个阶段都极有可能出现数据质量问题。在我国城市管理中,各级各部门每天都会面对大量繁琐的数据,数据收集渠道主要有下级单位上报数据、调查统计、普查等等,每一个渠道也同样会有很多因素影响数据质量。
㈢ 大数据的应用案例以及未来发展趋势
赶超发达国家的重要机遇
半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度,不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。信息爆炸的学科如天文学和基因学,创造出来大数据这个概念,如今,这个概念几乎应用到了所有人类智力与发展的领域中。21世纪是数据信息大发展的时代,移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀并变大。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器、智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据,大数据时代已经到来。
当前全球和我国大数据都呈现了井喷式爆发性增长,大数据已经渗透到各个行业和业务职能领域,成为重要的生产因素,大数据的演进与生产力的提高有着直接的关系。其发展特点,一是数据量呈现指数级增长。二是不同行业的大数据内容和开发应用特点各有不同,如证券、投资服务以及银行等金融服务领域拥有最高的平均数字化数据存储量,通信和媒体公司、公共事业公司以及政府等组织也有规模显著的数字化数据存储,这些行业更加具有通过大数据来创造价值的潜力。三是可以预见到大数据高速增长的现有趋势将继续推动数据增长,例如在各部门和地区之间,企业正在加快收集数据的步伐,推动了传统的事务数据库的增长;医疗卫生等面向消费者的行业中,多媒体的广泛使用刺激了大数据的增长;社交媒体的广泛普及以及物联网中应用的不断创新都进一步推动了大数据不断增长……这些相互交叉的动力刺激了数据的增长,并将继续推动数据池的迅速扩张。
发展大数据及其相关服务业将成为新兴经济体特别是我国在战略性新兴产业领域发挥后发优势赶超发达国家的重要机遇。只要条件具备,发展中经济体能够利用大数据发挥巨大的潜力。例如,亚洲地区移动手机用户最多,终端设备最多,其中中国设备数量最多,个人位置数据在亚洲已经领先。此外,在IT资产方面,尽管一些新兴市场组织落后于发达市场,但发展中经济体可以用最新技术跳跃式前进。大数据的应用不仅仅是商务,通过用户行为分析实现精准管理、科学决策和人性化服务是大数据的典型应用,大数据在各行各业特别是公共服务领域具有广阔的应用前景,包括消费行业、金融服务、食品安全、医疗卫生、军事、交通环保、电子商务、气象等。发展大数据产业机遇可贵潜力巨大。从经济和产业发展维度看大数据及相关产业发展的潜力,我国独特的位势和经济社会高速稳定发展,给大数据及其应用带来了巨大的发展空间。大数据在我国各领域和不同行业的应用潜力巨大、机遇重大。大数据的核心技术进展和大数据应用有可能带来我国新兴战略性产业发展的新机遇。
信息服务业发展的重要推力
研究表明,大数据是继传统IT之后下一个提高生产率的技术前沿和信息服务业发展的重要推动力。大数据的使用将成为未来提高竞争力、生产力、创新能力以及创造消费者盈余的关键要素。
例如医疗卫生行业,能够利用大数据避免过度治疗、减少错误治疗和重复治疗,从而降低系统成本、提高工作效率,改进和提升治疗质量;公共管理领域,能够利用大数据有效推动税收工作开展,提高教育部门和就业部门的服务效率;零售业领域,通过在供应链和业务方面使用大数据,能够改善和提高整个行业的效率;市场和营销领域,能够利用大数据帮助消费者在更合理的价格范围内找到更合适的产品以满足自身的需求,提高附加值。数据已经成为可以与物质资产和人力资产相提并论的重要的生产要素,伴随着信息化发展,企业将收集更多的信息,从而带来数据呈现指数级的增长。大数据在同时为商业和消费者创造价值方面有巨大的发展潜力。
大数据应用能够发挥重要的经济作用,不但有利于私人商业活动,更有利于国民经济和公民。数据可以为世界经济创造重要价值,提高企业和公共部门的生产率与竞争力,并为消费者创造大量的经济剩余。例如,能够富有创造性而有效地利用大数据来提高效率和质量。麦卡锡公司研究报告指出,预计美国医疗行业每年通过数据获得的潜在价值可超过3000亿美元,能够使得美国医疗卫生支出降低超过8%,充分利用大数据的零售商有可能将其经营利润提高60%以上。通过利用大数据实现政府行政管理方面的运作效率提高。估计欧洲发达经济体可以节省开支超过1000亿欧元,其中尚不包括可以用来减少欺诈、错误以及税差的影响作用。可以预见的是,随着人们存储、汇聚和组合数据然后利用其结果进行深入分析的能力超过以往,随着越来越尖端技术的软件与不断提高的计算能力相结合,从数据中提取洞见的能力也在显著提高。
大数据及其开发利用能够催生新的产业形态,拓展成为战略性新兴产业的重要组成部分。大数据的生产、整合、开发利用具有广泛的高附加值,可以形成和应用于各行业的关键发现,大数据的有效利用可以创造巨大的潜在价值,许多行业和承担业务职能的组织可以利用大数据提高人力、物力资源的分配和协调能力,减少浪费,增加透明度,并促进新想法和新见解的产生。其价值一是提高透明度,让利益相关方能够更加容易地及时获取信息,例如在公安部门,让原本相互分离的部门之间更加容易地获取相关数据,就可大大降低搜索和处理时间;在制造业,整合来自研发、工程和制造部门的数据以便实现并行工程,可以显著缩短产品上市时间并提高质量。二是可以通过实验来发现需求、暴露可变因素并提高业绩。随着组织创造并存储更多数字形式的交易数据,并以实时或接近实时的方式收集更多准确而详细的绩效数据,组织能够通过安排对比实验,运用数据分析获取更好的决策,例如在线零售商,通过将流量和销售结合的试验论证决定价格调整和促销活动的制定。三是更加精准地组织市场,根据客户需求细分人群。利用大数据使组织能够对人群进行非常具体的细分,以便精确地定制产品和服务以满足用户需求。例如在公共部门如公共劳动力机构,利用大数据为不同的求职者提供工作培训服务,确保采用最有效和最高效的干预措施使不同的人重返工作岗位。四是可以协助决策者更加科学地进行决策。大数据的自动处理能够更好地为决策者提供更加精准恰当的决策支持,通过对大数据的自动处理来替换或支持人为决策。有些组织已经在通过分析来自客户、雇员甚至嵌入产品中的传感器的整个数据集而做出更有效的决策。五是能够创新商业模式、产品和服务。例如在医疗保健领域,通过分析病人的临床和行为数据已经创造了瞄准最适当群体的预防保健项目。例如互联网公司收集大量的在线行为数据,创新速度非常快。
应组织实施大数据产业专项
发展大数据及其相关服务业具有重要意义,有望使各个行业产生更多收益。随着我国经济和社会信息化的高速发展,不仅信息产业自身获取了巨大的数据池,各个行业都存在利用大数据获取价值的潜力。大数据促使信息化建设模式大转变,结构化数据向非结构化数据演进,使得未来IT投资重点不再是建系统为核心,而是围绕大数据为核心。政府和企业决策者应对大数据发展研究制定发展战略和策略给予高度重视。
大数据真正的问题是大数据应用,让大数据更有意义。目前大数据管理多从架构和并行等方面考虑,解决高并发数据存取的性能要求及数据存储的横向扩展,但对非结构化数据的内容理解仍缺乏实质性的突破和进展,这是实现大数据资源化、知识化、普适化的核心。非结构化海量信息的智能化处理包括自然语言理解、多媒体内容理解、机器学习等。例如2012年3月29日白宫发布美国政府的大数据计划:通过提高从大型复杂的数据集中提取知识和观点的能力,承诺帮助加快在科学与工程中的步伐,加强国家安全,并改变教学研究。
由此,我们提出组织实施大数据产业专项的初步设想。一是围绕拓展新兴信息服务业态,组织实施以大数据示范、加工、处理、整合和深加工的信息资源与内容服务业示范工程,面向重点行业和重点民生领域包括金融证券、医疗卫生、税务海关、交通运输、社会保障、电子商务等领域,开展大数据重大应用示范,提升基于大数据的公共服务能力;二是加快推动北斗导航核心技术研发和产业化,推动北斗导航与移动通信、地理信息、卫星遥感、移动互联网等融合发展,支持位置信息服务市场拓展,完善北斗导航基础设施,推进服务模式和产品创新,在重点区域和领域开展示范应用;三是大力发展地理信息产业,拓宽地理信息服务市场,推进大数据技术和服务模式融合创新,支持大数据服务创新和商业模式创新;四是组织实施基于大数据的信息内容加工服务业典型示范工程,包括关键技术产品产业化和大数据生产、转换、加工、投送平台及专用工具的产业化项目,为丰富信息消费内容产品供给提供支撑;五是组织实施自主可控的大数据关键技术产品产业化项目,主要包括商业智能、数据仓库、数据集市、元数据、可视化技术等。
㈣ 大数据在金融行业的应用与挑战
大数据在金融行业的应用与挑战
A 具有四大基本特征
金融业基本是全世界各个行业中最依赖于数据的,而且最容易实现数据的变现。全球最大的金融数据公司Bloomberg在1981年成立时“大数据”概念还没有出现。Bloomberg的最初产品是投资市场系统(IMS),主要向各类投资者提供实时数据、财务分析等。
随着信息时代降临,1983年估值仅1亿美元的Bloomberg以30%股份的代价换取美林3000万美元投资,先后推出Bloomberg Terminal、News、Radio、TV等各类产品。1996年Bloomberg身价已达20亿美元,并以2亿美元从美林回购了10%的股份。2004年Bloomberg在纽约曼哈顿中心建成246米摩天高楼。到2008年次贷危机,美林面临崩盘,其剩余20%的Bloomberg股份成为救命稻草。Bloomberg趁美林之危赎回所有股份,估值跃升至225亿美元。2016年Bloomberg全球布局192个办公室,拥有1.5万名员工,年收入约100亿美元,估值约1000亿美元,超过同年市值为650亿美元的华尔街标杆高盛。
大数据概念形成于2000年前后,最初被定义为海量数据的集合。2011年,美国麦肯锡公司在《大数据的下一个前沿:创新、竞争和生产力》报告中最早提出:大数据指大小超出典型数据库软件工具收集、存储、管理和分析能力的数据集。
具体来说,大数据具有四大基本特征:
一是数据体量大,指代大型数据集,一般在10TB规模左右,但在实际应用中,很多企业用户把多个数据集放在一起,已经形成了PB级的数据量。
二是数据类别大,数据来自多种数据源,数据种类和格式日渐丰富,已冲破了以前所限定的结构化数据范畴,囊括了半结构化和非结构化数据。现在的数据类型不仅是文本形式,更多的是图片、视频、音频、地理位置信息等多类型的数据。
三是处理速度快,在数据量非常庞大的情况下,也能够做到数据的实时处理。数据处理遵循“1秒定律”,可从各种类型的数据中快速获得高价值的信息。
四是数据的真实性高,随着社交数据、企业内容、交易与应用数据等新数据源的兴起,传统数据源的局限被打破,信息的真实性和安全性显得极其重要。
而相比其他行业,金融数据逻辑关系紧密,安全性、稳定性和实时性要求更高,通常包含以下关键技术:数据分析,包括数据挖掘、机器学习、人工智能等,主要用于客户信用、聚类、特征、营销、产品关联分析等;数据管理,包括关系型和非关系型数据、融合集成、数据抽取、数据清洗和转换等;数据使用,包括分布式计算、内存计算、云计算、流处理、任务配置等;数据展示,包括可视化、历史流及空间信息流展示等,主要应用于对金融产品健康度、产品发展趋势、客户价值变化、反洗钱反欺诈等监控和预警。
B 重塑金融行业竞争新格局
“互联网+”之后,随着世界正快速兴起“大数据+”,金融行业悄然出现以下变化:
大数据特征从传统数据的“3个V”增加到“5个V”。在数量(Volume)、速度(Velocity)、种类(Variety)基础上,进一步完善了价值(Value)和真实性(Veracity),真实性包括数据的可信性、来源和信誉、有效性和可审计性等。
金融业按经营产品分类变为按运营模式分类。传统金融业按经营产品划分为银行、证券、期货、保险、基金五类,随着大数据产业兴起和混业经营的发展,现代金融业按运营模式划分为存贷款类、投资类、保险类三大类别。
大数据市场从垄断演变为充分市场竞争。全球大数据市场企业数量迅速增多,产品和服务的差异增大,技术门槛逐步降低,市场竞争日益激烈。行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用成为市场份额排名最靠前的五大细分市场。
大数据形成新的经济增长点。Wikibon数据显示,2016年,全球大数据硬件、软件和服务整体市场增长22%达到281亿美元,预计到2027年,全球在大数据硬件、软件和服务上的整体开支的复合年增长率为12%,将达到大约970亿美元。
数据和IT技术替代“重复性”业务岗位。数据服务公司Eurekahedge通过追踪23家对冲基金,发现5位对冲基金经理薪金总额为10亿美元甚至更高。过去10年,靠数学模型分析金融市场的物理学家和数学家“宽客”一直是对冲基金的宠儿,其实大数据+人工智能更精于此道。高盛的纽约股票现金交易部门2000年有600名交易员而如今只剩两人,其任务全由机器包办,专家称10年后高盛员工肯定比今天还要少。
美国大数据发展走在全球前列。美国政府宣称:“数据是一项有价值的国家资本,应对公众开放,而不是将其禁锢在政府体制内。”作为大数据的策源地和创新引领者,美国大数据发展一直走在全球最前列。自20世纪以来,美国先后出台系列法规,对数据的收集、发布、使用和管理等做出具体的规定。2009年,美国政府推出Data.gov政府数据开放平台,方便应用领域的开发者利用平台开发应用程序,满足公共需求或创新创业。2010年,美国国会通过更新法案,进一步提高了数据采集精度和上报频度。2012年3月,奥巴马政府推出《大数据研究与开发计划》,大数据迎来新一轮高速发展。
英国是欧洲金融中心,大数据成为其领先科技之一。2013年,英国投资1.89亿英镑发展大数据。2015年,新增7300万英镑,创建了“英国数据银行”data.gov.uk网站。2016年,伦敦举办了超过22000场科技活动,同年,英国数字科技投资逾68亿英镑,而收入则超过1700亿英镑。另外,英国统计局利用政府资源开展“虚拟人口普查”,仅此一项每年节省5亿英镑经费。
C 打造高效金融监管体系
大数据用已发生的总体行为模式和关联逻辑预测未来,决策未来,作为现代数字科技的核心,其灵魂就是——预测。
侦测、打击逃税、洗钱与金融诈骗
全球每年因欺诈造成的经济损失约3.7万亿美元,企业因欺诈受损通常为年营收额的5%。全球最大软件公司之一美国SAS公司与税务、海关等政府部门和全球各国银行、保险、医疗保健等机构合作,有效应对日益复杂化的金融犯罪行为。如在发放许可之前,通过预先的数据分析检测客户是否有过行受贿、欺诈等前科,再确定是否发放借贷或海关通关。SAS开发的系统已被国际公认为统计分析的标准软件,在各领域广泛应用。英国政府利用大数据检测行为模式检索出200亿英镑的逃税与诈骗,追回了数十亿美元损失。被福布斯评为美国最佳银行的德克萨斯资本银行(TCBank),不断投资大数据技术,反金融犯罪系统与银行发展同步,近3年资产从90亿美元增至210亿美元。荷兰第三大人寿保险公司CZ依靠大数据对骗保和虚假索赔行为进行侦测,在支付赔偿金之前先期阻断,有效减少了欺诈发生后的司法补救。
大数据风控建立客户信用评分、监测对照体系
美国注册舞弊审核师协会(ACFE)统计发现,缺乏反欺诈控制的企业会遭受高额损失。美国主流个人信用评分工具FICO能自动将借款人的历史资料与数据库中全体借款人总体信用习惯相比较,预测借款人行为趋势,评估其与各类不良借款人之间的相似度。美国SAS公司则通过集中浏览和分析评估客户银行账户的基本信息、历史行为模式、正在发生行为模式(如转账)等,结合智能规则引擎(如搜索到该客户从新出现的国家为特有用户转账,或在新位置在线交易等),进行实时反欺诈分析。
美国一家互联网信用评估机构通过分析客户在Facebook、Twitter等社交平台留下的信息,对银行的信贷和投保申请客户进行风险评估,并将结果出售给银行、保险公司等,成为多家金融机构的合作伙伴。
D 数据整合困难
应用经济指标预测系统分析市场走势
IBM使用大数据信息技术成功开发了“经济指标预测系统”,该系统基于单体数据进行提炼整合,通过搜索、统计、分析新闻中出现的“新订单”等与股价指标有关的单词来预测走势,然后结合其他相关经济数据、历史数据分析其与股价的关系,从而得出行情预测结果。
追踪社交媒体上的海量信息评估行情变化
当今搜索引擎、社交网络和智能手机上的微博、微信、论坛、新闻评论、电商平台等每天生成几百亿甚至千亿条文本、音像、视频、数据等,涵盖厂商动态、个人情绪、行业资讯、产品体验、商品浏览和成交记录、价格走势等,蕴含巨大财富价值。
2011年5月,规模为4000万美元的英国对冲基金DC Markets,通过大数据分析Twitter的信息内容来感知市场情绪指导投资,首月盈利并以1.85%的收益率一举战胜其他对冲基金仅0.76%的平均收益率。
美国佩斯大学一位博士则利用大数据追踪星巴克、可口可乐和耐克公司在社交媒体的围观程度对比其股价,证明Facebook、Twitter和 Youtube上的粉丝数与股价密切相关。
提供广泛的投资选择和交易切换
日本个人投资理财产品Money Design在应用程序Theo中使用算法+人工智能,最低门槛924美元,用户只需回答风险承受水平、退休计划等9个问题,就可使用35种不同货币对65个国家的1.19万只股票进行交易和切换,年度管理费仅1%。Money Design还能根据用户投资目标自动平衡其账户金额,预计2020年将超过2万亿美元投资该类产品。
利用云端数据库为客户提供记账服务
日本财富管理工具商Money Forward提供云基础记账服务,可管理工资、收付款、寄送发票账单、针对性推送理财新项目等,其软件系统连接并整合了2580家各类金融机构的各类型帐户,运用大数据分析的智能仪表盘显示用户当前财富状况,还能分析用户以往的数据以预测未来的金融轨迹。目前其已拥有50万商家和350万个体用户,并与市值2.5万亿美元的山口金融集团联合开发新一款APP。
为客户定制差异化产品和营销方案
金融机构迫切需要掌握更多用户信息,继而构建用户360度立体画像,从而对细分客户进行精准营销、实时营销、智慧营销。
一些海外银行围绕客户“人生大事”,分析推算出大致生活节点,有效激发其对高价值金融产品的购买意愿。如一家澳大利亚银行通过大数据分析发现,家中即将诞生婴儿的客户对寿险产品的潜在需求最大,于是通过银行卡数据监控准妈妈开始购买保胎药品和婴儿相关产品等现象,识别出即将添丁的家庭,精准推出定制化金融产品套餐,受到了客户的积极响应,相比传统的短信群发模式大幅提高了成功率。
催生并支撑人工智能交易
“量化投资之王”西蒙斯被公认为是最能赚钱的基金经理人,自1988年创立文艺复兴科技公司的旗舰产品——大奖章基金以来,其凭借不断更新完善的大数据分析系统,20年中创造出35%的年均净回报率,比索罗斯同期高10%,比股神巴菲特同期高18%,成为有史以来最成功的对冲基金,并于1993年基金规模达2.7亿美元时停止接受新投资。在美国《Alpha》杂志每年公布的对冲基金经理排行榜上,西蒙斯2005年、2006年分别以15亿美元、17亿美元净收入稳居全球之冠,2007年以13亿美元位列第五,2008年再以25亿美元重返榜首。
推动金融产品和服务创新
E 面临三大挑战
目前,全球各行业数据量的增长速度惊人,在我国尤其集中在金融、交通、电信、制造业等重点行业,信息化的不断深入正在进一步催生更多新的海量数据。
据统计,2015年中国的数据总量达到1700EB以上,同比增长90%,预计到2020年这一数值将超过8000EB。以银行业为例,每创收100万元,银行业平均产生130GB的数据,数据强度高踞各行业之首。但在金融企业内部数据处于割裂状态,业务条线、职能部门、渠道部门、风险部门等各个分支机构往往是数据的真正拥有者,缺乏顺畅的共享机制,导致海量数据往往处于分散和“睡眠”状态,虽然金融行业拥有的数据量“富可敌国”,但真正利用时却“捉襟见肘”。
数据安全暗藏隐患
大数据本质是开放与共享,但如何界定、保护个人隐私权却成为法律难题。大数据存储、处理、传输、共享过程中也存在多种风险,不仅需要技术手段保护,还需相关法律法规规范和金融机构自律。多项实际案例表明,即使无害的数据大量囤积也会滋生各种隐患。安全保护对象不仅包括大数据自身,也包含通过大数据分析得出的知识和结论。在线市场平台英国Handshake.uk.com就尝试允许用户协商个人数据被品牌分享所得的报酬。
人才梯队建设任重道远
人才是大数据之本。与信息技术其他细分领域人才相比,大数据发展对人才的复合型能力要求更高,需要掌握计算机软件技术,并具备数学、统计学等方面知识以及应用领域的专业知识。
㈤ 盘点政府推动大数据应用及发展的举措
盘点政府推动大数据应用及发展的举措
一、政府:推动大数据应用的最关键力量
(一)政府掌握大量最具应用价值的核心数据,是推动大数据应用的最关键力量
根据麦肯锡大数据研究报告指出, 各个行业利用大数据价值的难易度以及发展潜力 对比下,政府利用大数据难度最低而潜力最大。
大数据
另一方面政府开放大数据运用已经是大势所趋:
1、 政府掌握了大量最具应用价值的核心数据。 过去十多年来政府投资进行了大量电子政务或者称为政府信息化的工作,后台积累了大量的数据,而这些数据和公众的生产生活息息相关。有研究表明政府所掌握的数据使政府成为了一个国家最重要的信息保有者,有百分之七十到八十的核心数据存在于政府的后台 。
2、 开放数据本身就是政府在大数据时代提供的一项公共服务。 政府数据本质上是国家机关在履行职责时所获取的数据,采集这些数据的经费来自于公共财政,因而这些数据是公共产品,归全社会所有,应取之于民,用之于民。
3、 政府开放数据供社会进行增值开放和创新应用,推动经济增长乃至整个经济增长方式的转型。 数据是互联网创新的重要基础,如果政府不开放这一部分数据,很多创新应用没有数据作为支持,数据开发者能利用政府开放的数据,提供更好的服务,创造更多的价值, 这个过程能够提高整个国家在大数据时代的竞争力。
4、 政府开放数据推动经济增长获得的税收高于单纯卖数据获得的收入。 201 年世界经合组织在关于开放政府数据的报告中提到政府通过开放数据推动经济增长,从而获得的税收收入远高于单卖数据所能获得收入。开放数据激发经济活力从而得到税收提升,这是一个良 性循环,更是一个能创造巨大公共价值的全局性的战略。
(二) 国内外政府开放数据的情况
在 2009 年奥巴马签署开放政府数据的行政命令后,这些年来开放政府数据已成为了世界性的一个趋势。美国联邦数据平台 Data.gov 上线后,在美洲、欧洲、亚洲等地,开放政府数据已成为了政府的一项重要工作。美国联邦政府的开放政府数据平台开放了来自多个领 域的 13 万个数据集的数据。这些领域包括图中所列的农业、商业、气候、生态、教育、能源、金融、卫生、科研等十多个主题。这些主题下的数据都是美国联邦政府的各个部委所开放的。英国、加拿大、新西兰等国在 2009 年之后都建立起了政府数据开放平台,成为 了国际信息化和大数据领域的一个重要趋势。
大数据
在我国, 2011 年香港特区政府上线了 data.gov.hk,称为香港政府资料一线通。上海在 2012年 6 月推出了中国大陆第一个数据开放平台。之后,北京、武汉、无锡、佛山南海等城市也都上线了自己的数据平台。
大数据
(三)、 大数据对于政府治理具有极大的价值
大数据其实对政府的治理带来了全新的价值,无论是对宏观经济的决策能力、产业聚集能力、协同治理能力、社会管理能力、公众服务能力、快速响应能力的提升,大数据都可以在有很大层面上帮助政府治理。
大数据大数据
(四)、大数据上升至国家战略成为共识。
大数据时代,对大数据的开发、利用与保护的争夺日趋激烈,制信权成为继制陆权、制海权、制空权之后的新制权,大数据处理能力成为强国弱国区分的又一重要指标。国际上以美国为代表的发达国家纷纷布局大数据产业,相继推出大数据相关政策,大力支持大数据产 业在本国的发展。以美国为例,美国从开展关键技术研究、推动大数据应用和开放政府数据三方面布局大数据产业,尤其在开放政府数据方面非常积极,通过 Data.gov开放 37 万个数据集,并开放网站的 API 和源代码,提供上千个数据应用。我们认为,大数据未来将 引发新一轮大国竞争,大数据对整个世界的影响力会呈现爆发性增长趋势,因此包括我国在内的国家会在政策支持力度上不断提升,大数据战略将上升至国家战略已毋庸臵疑。
大数据
(五)、 我国 高度重视大数据未来发展
自去年 3 月“大数据”首次出现在《政府工作报告》中以来,国务院常务会议一年内 6次提及大数据运用。近期在 6 月 17 日的国务院常务会议上,李克强总理再次强调“我们正在推进简政放权,放管结合、优化服务,而大数据手段的运用十分重要。” 7 月 1 日, 国务院办公厅印发了《关于运用大数据加强对市场主体服务和监管的若干意见》。
大数据
大数据大数据
(六). 各部委行动时间表已经确,我国大数据发展面临历史性机遇
值得注意的是,近期国务院出台文件对各个部委推进大数据任务制定了明确的时间表,很多推进工作任务要求在 2015 年 12 月底前出台政策并实施,近期将是我国大数据发展政策出台的密集期。
表 3: 各部委推进大数据应用时间表
序号工作任务负责单位时间进度1加快建立公民、法人和其他组织统一社会信用代码制度。发展改革委、中央编办、公安部、民政部、人民银行、税务总局、工商总局、质检总局2015 年 12 月底前出台并实施2全面实行工商营业执照、组织机构代码证和税务登记证“三证合一”、 “一照一码”登记制度改革。工商总局、中央编办、发展改革委、质检总局、税务总局2015 年 12 月底前实施3建立多部门网上项目并联审批平台,实现跨部门、跨层级项目审批、核准、备案的“统一受理、同步审查、信息共享、透明公开”。发展改革委会同有关部门2015 年 12 月底前完成4推动政府部门整合相关信息,紧密结合企业需求,利用网站和微博、微信等新兴媒体为企业提供服务。网信办、工业和信息化部持续实施5研究制定在财政资金补助、政府采购、政府购买服务、政府投资工程建设招投标过程中使用信用信息和信用报告的政策措施。财政部、发展改革委2015 年 12 月底前出台并实施6充分运用大数据技术,改进经济运行监测预测和风险预警,并及时向社会发布相关信息,合理引导市场预期。发展改革委、统计局持续实施7支持银行、证券、信托、融资租赁、担保、保险等专业服务机构和行业协会、商会运用大数据为企业提供服务。人民银行、银监会、证监会、保监会、民政部持续实施8健全事中事后监管机制,汇总整合和关联分析有关数据,构建大数据监管模型,提升政府科学决策和风险预判能力。各市场监管部门2015 年 12 月底前取得阶段性成果9在办理行政许可等环节全面建立市场主体准入前信用承诺制度。 信用承诺向社会公开,并纳入市场主体信用记录。各行业主管部门2015 年广泛开展试点, 2017 年 12 月底前完成10加快建设地方信用信息共享交换平台、部门和行业信用信息系统,通过国家统一的信用信息共享交换平台实现互联共享。各省级人民政府,各有关部门2016 年 12 月底前完成11建立健全失信联合惩戒机制,将使用信用信息和信用报告嵌入行政管理和公共服务的各领域、各环节,作为必要条件或重要参考依据。在各领域建立跨部门联动响应和失信约束机制。建立各行业“黑名单”制度和市场退出机制。推动将申请人良好的信用状况作为各类行政许可的必备条件。各有关部门,各省级人民政府2015 年 12 月底前取得阶段性成果12建立产品信息溯源制度,加强对食品、药品、农产品、日用消费品、特种设备、地理标志保护产品等重要产品的监督管理,利用物联网、射频识别等信息技术,建立产品质量追溯体系,形成来源可查、去向可追、责任可究的信息链条。商务部、网信办会同食品药品监管总局、农业部、质检总局、工业和信息化部2015 年 12 月底前出台并实施13加强对电子商务平台的监督管理,加强电子商务信息采集和分析,指导开展电子商务网站可信认证服务,推广应用网站可信标识,推进电子商务可信交易环境建设。健全权益保护和争议调处机制。工商总局、商务部、网信办、工业和信息化部持续实施14进一步加大政府信息公开和数据开放力度。除法律法规另有规定外,将行政许可、行政处罚等信息自作出行政决定之日起 7 个工作日内上网公开。各有关部门,各省级人民政府持续实施15加快实施经营异常名录制度和严重违法失信企业名单制度。建设国家企业信用信息公示系统,依法对企业注册登记、行政许可、行政处罚等基本信用信息以及企业年度报告、经营异常名录和严重违法失信企业名单进行公示,并与国家统一的信用信息共享交换平台实现有机对接和信息共享。工商总局、其他有关部门,各省级人民政府持续实施16支持探索开展社会化的信用信息公示服务。建设“信用中国 ”网站,归集整合各地区、各部门掌握的应向社会公开的信用信息,实现信用信息一站式查询,方便社会了解市场主体信用状况。各级政府及其部门网站要与 “信用中国 ”网站连接,并将本单位政务公开信息和相关市场主体违法违规信息在“信用中国 ”网站公开。发展改革委、人民银行、其他有关部门,地方各级人民政府2015 年 12 月底前完成17推动各地区、各部门已建、在建信息系统互联互通和信息交换共享。在部门信息系统项目审批和验收环节,进一步强化对信息共享的要求。发展改革委、其他有关部门持续实施18健全国家电子政务网络,加快推进国家政务信息化工程建设,统筹建立人口、法人单位、自然资源和空间地理、宏观经济等国家信息资源库,加快建设完善国家重要信息系统。发展改革委、其他有关部门分年度推进实施, 2020 年前基本建成19加强对市场主体相关信息的记录,形成信用档案。对严重违法失信的市场主体,按照有关规定列入“黑名单”,并将相关信息纳入企业信用信息公示系统和国家统一的信用信息共享交换平台。各有关部门2015 年 12 月底前实施20探索建立政府信息资源目录。各有关部门2016 年 12 月底前出台目录编制指南21引导征信机构根据市场需求,大力加强信用服务产品创新,进一步扩大信用报告在行政管理和公共服务及银行、证券、保险等领域的应用。发展改革委、人民银行、银监会、证监会、保监会2017 年 12 月底前取得阶段性成果22落实和完善支持大数据产业发展的财税、金融、产业、人才等政策,推动大数据产业加快发展。发展改革委、工业和信息化部、财政部、人力资源社会保障部、人民银行、网信办、银监会、证监会、保监会2017 年 12 月底前取得阶段性成果23加快研究完善规范电子政务,监管信息跨境流动,保护国家经济安全、信息安全,以及保护企业商业秘密、个人隐私方面的管理制度,加快制定出台相关法律法规。网信办、公安部、工商总局、工业和信息化部、发展改革委等部门会同法制办2017 年 12 月底前出台(涉及法律、行政法规的,按照立法程序推进)24推动出台相关法规,对政府部门在行政管理、公共服务中使用信用信息和信用报告作出规定,为联合惩戒市场主体违法失信行为提供依据。发展改革委、人民银行、法制办2017 年 12 月底前出台(涉及法律、行政法规的,按照立法程序推进)25建立大数据标准体系,研究制定有关大数据的基础标准、技术标准、应用标准和管理标准等。加快建立政府信息采集、存储、公开、共享、使用、质量保障和安全管理的技术标准。引导建立企业间信息共享交换的标准规范。工业和信息化部、国家标准委、发展改革委、质检总局、网信办、统计局2020 年前分步出台并实施26推动实施大数据示范应用工程,在工商登记、统计调查、质量监管、竞争执法、消费维权等领域率先开展示范应用工程,实现大数据汇聚整合。在宏观管理、税收征缴、资源利用与环境保护、食品药品安全、安全生产、信用体系建设、健康医疗、劳动保障、教育文化、交通旅游、金融服务、中小企业服务、工业制造、现代农业、商贸物流、社会综合治理、收入分配调节等领域实施大数据示范应用工程。
㈥ 美国公布大数据下的中国女人,为何如此让人吃惊
最近一份美国劳务部统计的报告引发了很多网友的热议,同时,这份报告中的内容也让很多美国人都心生感叹,在这份报告中,有一份关于世界全国劳动参与率的数据分析,而在这些数据分析中,中国位列世界第一,不管是劳动总量还是劳动参与率,全都是世界第一,这让很多外国友人都非常的吃惊。
据统计,中国的劳动力参加达到了76%,这就意味着只有24%的人没有参加工作,而在这24%中,还包括了很多年迈的老人,以及正在上学的小孩,在中国几乎所有处于合法工作年龄的人都在工作,这样的数据让很多的人都感到非常的惊讶,尤其是美国,要知道美国的劳动参与率才只有65%。
在中国的家庭里,一家老小都在工作,大家都希望能够努力赚钱,养家糊口,为自己的家庭贡献自己的一份力量,这也是我们中国传统的美德。
㈦ 看美国实体店如何应用“大数据”
最近,大数据一词在营销全可谓火热。美国Place公司的技术兴许可以在如何应用大数据方面给我们一些启迪。该公司把网络营销的某些分析方法应用到了真实世界中。一旦消费者下载它的手机应用,它就能利用定位技术搜集消费者的数据。他们是否进店了?进店之后干什么了?离开之后又去哪儿了?不过,所有的信息只是以大数据的形式用作分析,不会联系到具体的某一个用户。 位于西雅图市的Placed公司发布报告称,今年第一季度,进入美国各大书店的人流量增加了27%。Placed公司致力于把网络上常用的营销分析法带入线下的世界。 Placed发布的这个数据似乎有些惊人。我们很难知道这个数据到底有多准确,也不清楚它是否能吸引各大企业开始采用Placed公司的服务,不过它的确为这家公司带来了媒体的关注。说起来有点讽刺,因为Placed公司为客户提供的分析方法要比单纯计算人流量复杂得多。它的Placed Insights服务可以自动从下载这款手机应用的用户那里收集信息,从这一点上来看,Placed公司研究的人群都是主动成为研究对象的,因此样本可能不够全面。不过公司创始人兼CEO大卫?希姆否认这一点。现实中许多实体店都在统计客流量,Placed给出的数据肯定不如他们的第一手数据精确。 尽管如此,Placed公司的技术还是很诱人的,而且很有前景——甚至可能是革命性的。虽然许多大型连锁超市和连锁餐厅也开发了一些复杂的方法,用来计算自家门店的人流量,但是Placed的独特之处在于,它还知道顾客进店之前或是离店之后会干什么。更重要的是,它还可以根据人口统计学特征对顾客群体进行划分,然后可以向实体店提供像尼尔森公司(Nielsen)和康姆斯科(comScore)公司提供给网络营销公司的那种服务。 希姆说,营销人员可能想知道:“当麦当劳(McDonald)的顾客不在麦当劳吃饭时,他们会去哪儿吃饭?”如果说他们更喜欢去熊猫快餐(Panda Express,美国知名中餐馆——译注)或是汉堡王(Burger King),而不是去苹果蜜蜂(Applebee)餐厅,那么这就是一个有用的数据点。(Placed公司没有透露客户的名单,不过希姆表示,它的客户以大零售商、连锁餐厅和广告公司居多。)如果能知道顾客群的人口统计学特征就更有用了,比如麦当劳的西班牙裔顾客与其他顾客群相比,更喜欢吃熊猫快餐而不是苹果蜜蜂餐厅。 这种获得、使用信息的能力可以说是史无前例的。从某些角度讲,它比那些能够通过追踪人们的上网行为获得的数据更有用,更具有启发性。市面上也有一些公司提供类似的服务,但是它们通常是通过第三方获得的数据(比如购物习惯),而且它们覆盖的地域也更广。而Placed Insights的数据是直接从消费者身上获得的,它所针对的地理位置可以精确到平方英尺。Placed Insights包含了大约1,300亿个经纬度点,而且还把它们与数以十亿计的其它数据相结合,为它所提供的任何见解提供翔实的数据支持。移动技术和大数据的这种联姻能够使营销人员接触消费者的方式得到革命性的创新,尤其是当这些消费者没有守在电脑旁边,而是在吃饭或购物的时候。 Placed Insights使用了GPS、Wi-Fi网络、蜂窝三角网定位、加速计和陀螺仪等技术,不仅可以确定某个人是否到达了某个地理位置,还能确定他们是否进了门,甚至还能知道他们在建筑内的活动情况。 如果这给你的感觉有点霸道,那么你不妨记住,眼下有7万人自愿加入了Placed的服务,被它的显微镜扫描着自己的一举一动(作为回报,Placed会给用户提供各种激励,比如小额奖励或是把钱捐给慈善组织)。另外希姆还表示,他的公司把收集来的数据提交给客户时,其中的任何数据都不会关联到任何一个具体用户的姓名。另外Placed公司还承诺,不会针对用户发送商业广告。这些数据只会汇聚成大数据模式以供分析之用。同时这些数据还会通过人口普查报告等其它数据进行“规范化”。比如如果这款手机应用的一个用户是白人,但他所居住的社区以黑人为主,那么这个数据点有可能会根据实际情况被纳入或被筛选出去。 事实上,很多人并不愿意只是作为分析研究的“小白鼠”,为别人提供营销数据,因此愿意下载这款应用的人并不多。所以Placed公司与一些应用开发者达成了协议,把Placed Insights的功能整合到其它应用里——通常是以旅游为主的应用。需要再次说明的是,它依然本着自愿原则。应用开发者也可以从这种合作中赚一点钱。希姆表示,他们“每个月可以赚几百到几千美元”。这一点还是挺有吸引力的,因为大部分上述应用都是免费的。译者:朴成奎
㈧ 大数据在未来意味着什么
大数据在未来意味着什么
数据在未来意味着什么?今年美国最新的调查表明, 60%的企业已经或者正在以不同形式使用大数据,相比前年提升很多。
大数据可能是一场泡沫的说法已经不攻自破。目前的趋势告诉我们大数据不仅变得更大, 而且其重心也在转移,从互联网到移动互联网再到物联网,企业不仅要学会使用自身的数据,更重要的是学会如何有效地连接无处不在的数据。
数据作为一种新的原材料,它可以用之不尽,也可能让你物无所用。其中的关键在于数据从收集、存储、刷新、识辨、关联、挖掘、决策、行动是一条很长的链条,各个环节环环相扣又互为作用。想要自如地使用大数据就需要我们合理地把科学、工程和商业三者有机结合,同时知道如何安全地进行数据共享和协作,后者也是企业的一个新课题。所以,数据从加工到使用还是任重道远。
下面我分享一下自己从实战中学习到的一些心得:
①一切从定义“问题”开始, 把问题问好了答案就在里面。
②在万物数据的年代,要以假设数据都能获取去思考问题 。
③数据助力企业的四步曲:描述现况、深入诊断、预测趋势、指挥行动。
④“快 + 准”的数据, 让我们可以从已知规律中产生价值!
⑤“广 + 乱”的数据, 给予我们从发现中巅覆过去规律的能力。
⑥大数据不是独奏, 而是不断连接无处不在的数据。
⑦数据技术就是加速和积累(数据、分析、服务)的能力。
⑧大数据生态的连接需要建立标准与规范。
⑨大数据是来自很多小数据的组合。
⑩数据是一种信仰。
未来是一个数据即经济的年代,它具有改变人们习惯的能力。这一新兴的趋势很快就会进入到我们生活的每个领域。大数据将会带来让每个地球人重新理解这个星球的机会。当你发现不去晨跑将有75%的概率你的寿命将会缩短3年,你下一步会想什么?人们的行为开始逐渐被算法决定而非大脑。所以,作为地球村的一份子,你准备好了吗?
以上是小编为大家分享的关于 大数据在未来意味着什么的相关内容,更多信息可以关注环球青藤分享更多干货
㈨ 如何应对大数据时代的变革机遇挑战
大数据搭着信息时代的快车来到了我们的面前,数据的价值逐渐为人们所重视,同时也让数据分析师的身价倍增。而随着大数据分析工具等大数据应用技术的出现,未来的数据分析师又将遇到怎样的挑战和机遇呢?
工具抢了人的饭碗?
很多大数据分析工具的设计起点非常高,定位了数据分析过程中所需要的大部分功能。很多工具的功能涵盖了从数据前期整合、收集到挖掘、分析乃至末端的数据可视化的整个数据分析过程,功能不可谓不强大。
但如果仅凭这些就认定大数据分析工具能取代数据分析师,未免有些杞人忧天了。恰恰相反,大数据分析工具不是数据分析师的竞争者,而是协助者。工具本来就是为人服务的,数据分析师的专业素养让其能很好的发挥大数据分析工具的性能,二者相辅相成,是友非敌。
企业的支持
虽然大数据的概念已经普及,但是很多企业还是留存有一些传统的观念。很多企业虽然重金聘用了数据分析师甚至是组建了数据分析师团队,但是却并没有建立完善的数据价值体系。对数据分析工作缺乏理解与支持。
相对于数据管理,数据分析工的工作重心还应该放在“挖掘数据价值”上。企业与数据分析师直接缺少职能的沟通,将直接影响企业对数据分析师工作性质的定位;同时,企业应该建立数据库并部署大数据分析工具,为了能更好地对接用户,也为企业和数据分析师留有足够的空间。
从幕后到台前的转变
以往的业务人员经常要磨破嘴皮才能得到别人的认同,而现在许多企业正在考虑让数据分析师带着数据分析结果去谈业务。打算以“让数据说话,以数据服人”去赢得客户的信任。而主要的实施过程,是靠数据可视化技术来实现的。
数据可视化技术让数据能以图表和视频的方式直观地展示在人们面前,而数据分析师作为数据的管理者和挖掘者,是最适合不过的讲解人了。这样就要求数据分析师不仅要有扎实的数据分析能力,还要能提取数据精髓,并将之演讲出来以获得他人的认同。从幕后转到台前,这里面会需要许多技能,数据分析师的工作性质也将发生改变。
在大数据时代,数据分析师所扮演的角色不可能是一成不变的。而只有顺应时代的潮流,响应时代的需要,数据分析师这个行业才能继续生存并发展。其实,大数据分析工具,数据可视化这些技术的出现固然使行业受到了影响与挑战,但对于数据分析师来说,未尝不是一次摆脱传统束缚的机遇!